KoboldCpp 教學：本機 LLM 接入 SillyTavern 與 MiniTavern（2026 隱私指南）

在 SillyTavern 和 MiniTavern 的本機大模型後端裡，KoboldCpp 是老玩家心中的硬核之選：基於 llama.cpp 的單檔案可執行程式，無需安裝，專為 GGUF 模型最佳化，從 KoboldAI 時代就深度接入酒館生態。如果你想零雲端 API、完全掌控 GPU 層數、上下文和採樣參數——KoboldCpp 值得列入候選。

本文介紹 KoboldCpp 是什麼、與 LM Studio / Ollama 的差異，以及 2026 年接入 SillyTavern 與 MiniTavern 的完整流程。

什麼是 KoboldCpp？

KoboldCpp（專案：LostRuins/koboldcpp）是面向 GGUF 及舊版 GGML 模型的本機推理伺服器。下載對應系統二進位檔、選模型、點 Launch，即可獲得：

• Kobold API：http://localhost:5001/api/（SillyTavern 原生支援的文字補全協定）
• OpenAI 相容 API：http://localhost:5001/v1/（供新版 ST 連接器或 MiniTavern 使用）
• KoboldAI Lite：內建瀏覽器測試頁，開酒館前先確認模型能正常回覆

與雲端不同，角色卡、世界書、聊天記錄不會離開你的機器。

KoboldCpp 與經典 KoboldAI 的區別

	KoboldCpp	KoboldAI United（經典版）
分發	便攜單檔案 .exe / 二進位	安裝較重，含 Colab 方案
模型	以 GGUF 為主	格式混雜
API	Kobold + OpenAI，埠 5001	Kobold API
SillyTavern	專用 KoboldCpp API 類型	舊版 KoboldAI 連接器
維護	2026 年持續更新	本機場景多被 KoboldCpp 取代

教學裡說的「本機接 KoboldAI」，現在通常指的就是 KoboldCpp。

KoboldCpp 核心術語

術語	含義
Quick Launch（快速啟動）	GUI 分頁：瀏覽 GGUF、設上下文、GPU 層數並啟動
GPU Layers（n_gpu_layers）	多少層跑在 GPU、多少溢出到 CPU——顯存調優關鍵
Context Size（上下文長度）	KoboldCpp 分配的最大 token，須在 Launch 前 設定（預設可能僅 4K）
CuBLAS / CUDA 後端	NVIDIA 加速構建（koboldcpp.exe）
nocuda 構建	體積更小；AMD 建議在 GUI 選 Vulkan
Kobold API	ST 在 API Type = KoboldCpp 時使用的文字補全端點
Remote Tunnel（遠端隧道）	產生臨時公網 URL（如 Cloudflare），供區域網路外存取
.kcppt	KoboldCpp 預設模板，打包模型與啟動參數
KoboldAI Lite	啟動後內嵌的輕量聊天頁，用於自檢

為什麼注重隱私的酒館使用者選 KoboldCpp？

1. 無需帳號、不上傳 OpenAI — 推理只在你的 GPU/CPU 完成。
2. 硬體控制精細 — 層數拆分、上下文、量化——8–12 GB 顯存使用者最愛。
3. SillyTavern 一等公民 — 官方文件路徑：Text Completion → KoboldCpp。
4. 便攜 — 整個資料夾拷到遊戲本或離線筆電即可開玩。

MiniTavern 使用者同樣受益：區域網路把 多模型中樞 指向 http://192.168.x.x:5001/v1；外出可用 Remote Tunnel，或參考本站 LM Studio LM Link 指南 的加密遠端方案。

準備工作

• 系統：Windows、Linux 或 macOS（有 ARM Mac 構建）。
• GPU：NVIDIA 6 GB+ 顯存可跑 7B Q4；12 GB+ 更適合 8B–14B 扮演。
• 記憶體：系統 RAM 建議 16 GB 起，32 GB 對 CPU 卸載更友善。
• 模型：Hugging Face 上的 GGUF（如 Mistral 7B Instruct、Qwen2.5 7B、Llama 3.1 8B）。
• SillyTavern 或 MiniTavern 中已備好角色卡（Card Quest 市場 或 Chrome 擴充匯入）。

第一步：下載合適的 KoboldCpp 構建

從 GitHub Releases 取得最新版：

硬體	推薦檔案
較新 NVIDIA GPU	koboldcpp.exe（CUDA 12）
老顯卡 / 弱 CPU	oldpc 變體（CUDA 11 + AVX）
AMD GPU	nocuda + GUI 中選 Vulkan
Apple Silicon Mac	koboldcpp-mac-arm64
Linux NVIDIA	koboldcpp-linux-x64

Windows 可能出現 SmartScreen 提示——選擇 仍要執行。

第二步：下載 GGUF 模型

在 Hugging Face 搜尋適合角色扮演的 instruct 模型：Mistral-7B-Instruct-v0.3-GGUF、Qwen2.5-7B-Instruct-GGUF、Llama-3.1-8B-Instruct-GGUF。8 GB 顯存選 Q4_K_M 或 Q5_K_M 量化。

第三步：設定 Quick Launch

1. 開啟 KoboldCpp → Quick Launch → Browse → 選 .gguf。
2. Context Size 按顯存設定（4096–8192 常見）。
3. GPU Layers 首次保留自動值；OOM 再調。
4. NVIDIA：勾選 Use CuBLAS。
5. Save → Launch，等待 5001 埠 API 啟動。
6. 先在 KoboldAI Lite 測試，再開 SillyTavern。

第四步：接入 SillyTavern

1. 插头圖示 → API Connections。
2. API：Text Completion；API Type：KoboldCpp。
3. Server URL：http://127.0.0.1:5001/。
4. Connect → 匯入角色卡測試。

備選：Chat Completion + http://127.0.0.1:5001/v1（OpenAI 相容）。更多調優見 本機 LLM 隱私指南。

第五步：手機 / 區域網路接入 MiniTavern

同一 Wi-Fi：http://192.168.x.x:5001/v1。外出：開 Remote Tunnel 或 VPN。鏈路： 角色卡市場 → Chrome 擴充 → MiniTavern。

KoboldCpp vs LM Studio vs Ollama

	KoboldCpp	LM Studio	Ollama
預設埠	5001	1234	11434
ST 原生連接器	KoboldCpp	KoboldAI / OpenAI	Ollama
遠端手機	Remote Tunnel	LM Link	mainly LAN

結語

KoboldCpp 仍是 2026 年驅動 SillyTavern、MiniTavern 角色卡扮演的本機利器：下載 GGUF，5001 埠 Launch，ST 選 Text Completion → KoboldCpp。瀏覽角色卡市場，安裝 MiniTavern，把連接器指向 localhost:5001 即可開聊。