ComfyUI と SillyTavern を連携する意味

前提環境とモデル選定

ハードウェア

• VRAM 12GB 以上を推奨。SDXL 系なら 8GB でも量子化・段階的ロードで動作するが、バッチ生成は厳しい
• ストレージはモデルと LoRA で 100GB 以上を見込む
• NVIDIA GPU が最も情報が多い。Apple Silicon は MPS バックエンドで動作するが一部ノードに制限あり

ベースモデル

用途	モデル系統	備考
汎用ポートレート	SDXL 系リアル/アニメ	汎用性が高く LoRA 資産が豊富
アニメ特化	Pony / Illustrious 系	タグベースのプロンプトと相性が良い
高速プレビュー	SD 1.5 系	構図確認用。低 VRAM でも回る

ComfyUI のセットアップ

1. ComfyUI を公式リポジトリから取得し、Python 仮想環境で起動する
2. models/checkpoints、models/loras、models/vae にモデルを配置
3. 必要なカスタムノード（IPAdapter、ControlNet、FaceDetailer など）を Manager 経由で導入
4. API を有効化して起動する（--listen とポート指定）。SillyTavern や外部スクリプトから HTTP 経由で呼び出すため

ComfyUI はワークフローを JSON で保存できるため、キャラクターごとに「ポートレート用」「シーン用」のテンプレートを分けておくと運用が安定します。

キャラクターカード用ポートレートの生成

プロンプト設計

キャラクターカードの一貫性は、外見記述を固定トークン化することで担保します。

• 髪色・髪型・瞳色・体型・服装・アクセサリを個別に列挙し、順序を固定する
• 背景は simple background や gradient background で統一し、カードの視認性を確保
• ネガティブには multiple views、text、watermark を必ず入れる

一貫性の担保

• LoRA 学習：同一キャラの画像を 20〜40 枚用意し、キャラ LoRA を作成するのが最も安定する
• IPAdapter：参照画像 1 枚から顔・服装の特徴を転写。LoRA ほど強くないが即席で使える
• ControlNet：ポーズや構図を固定したい場合に併用
• 固定シード：構図の再現性を高める。シードをキャラ設定と一緒にカードのメタデータへ記録しておく

出力設定

• 解像度は 832×1216 前後（縦長）。カードのサムネイル用途なら 512×768 で十分
• FaceDetailer で顔をアップスケールし、縮小時の破綻を防ぐ
• 生成後は PNG メタデータを確認し、使用したモデル・LoRA・シードを記録する

シーンアートの生成

シーン画像はポートレートより構図の自由度が高く、ControlNet と IPAdapter の組み合わせが効きます。

• 背景単体を先に生成し、後からキャラを IPAdapter で合成する二段構えが破綻しにくい
• 複数キャラを同一フレームに置く場合は、地域プロンプト（Regional Prompter 系ノード）で領域を分割する
• ライティングや時間帯のトークン（golden hour、night、rim light）を固定語彙としてカードごとに定義しておく

SillyTavern への組み込み

SillyTavern 側は画像生成バックエンドとして ComfyUI を指定できます。設定の Image Generation でソースを ComfyUI に切り替え、ワークフロー JSON を読み込ませる構成が基本です。

• キャラクターカードの portrait として生成画像を割り当てる
• チャット中にシーン画像を生成するトリガーを設定し、character-cards の世界観と画像を同期させる
• 生成履歴とプロンプトはローカルに残るため、local-llm と同様にデータが外部へ出ない

カード配布を想定する場合は、埋め込む画像のライセンスとモデルの利用規約を必ず確認してください。

運用上の注意点

• モデルや LoRA を更新すると同一シードでも出力が変わる。カードごとに使用バージョンを記録する
• VRAM 不足時は --lowvram や段階的ロード、量子化モデルで対応
• 生成待ち時間が長い場合は SD 1.5 系でプレビューし、最終出力のみ SDXL 系で回す

まとめ

ComfyUI をローカルで運用すれば、SillyTavern のキャラクターカードに紐づくポートレートとシーンアートを、外部サービスに依存せず一貫性を保ちながら生成できます。鍵はワークフローのテンプレート化、キャラ LoRA または IPAdapter による同一性の担保、そしてモデル・シードの記録です。MiniTavern では iOS / Android アプリ、Chrome 拡張、そして Character Card Market を通じてカードの作成・共有・利用をまとめて扱えるため、ローカル生成した画像をそのままカードに組み込むワークフローと相性が良い構成になっています。