KoboldCpp: локальный LLM для SillyTavern и MiniTavern — гайд по приватности (2026)

KoboldCpp — проверенный выбор для локального инференса в SillyTavern и MiniTavern: один переносимый бинарник на llama.cpp, без установки, заточен под GGUF, с глубокой интеграцией в экосистему таверны с времён KoboldAI.

Что такое KoboldCpp?

Проект LostRuins/koboldcpp загружает GGUF-модели и поднимает:

• Kobold API — http://localhost:5001/api/
• OpenAI-совместимый API — http://localhost:5001/v1/
• KoboldAI Lite — встроенный браузерный тест

Карточки, лорбук и чаты не уходят в облако.

Ключевые термины

Термин	Значение
Quick Launch	Вкладка GUI: модель, контекст, GPU Layers → Launch
GPU Layers	Сколько слоёв на GPU; критично для VRAM
Context Size	Задаётся до Launch (иначе ST может упереться в 4K)
Remote Tunnel	Временный HTTPS-URL для доступа вне LAN
.kcppt	Пресет KoboldCpp с настройками запуска

Установка и запуск

1. Скачайте сборку с Releases: NVIDIA — koboldcpp.exe, AMD — nocuda+Vulkan, Mac — koboldcpp-mac-arm64.
2. Загрузите GGUF с Hugging Face (Qwen2.5 7B, Mistral 7B, Q4_K_M).
3. Quick Launch → выберите модель → Context 4096–8192 → Save → Launch.
4. Проверьте в KoboldAI Lite.

Подключение SillyTavern

1. API Connections → Text Completion.
2. API Type: KoboldCpp.
3. Server URL: http://127.0.0.1:5001/.
4. Connect → импорт карты → тест.

Альтернатива: Chat Completion + http://127.0.0.1:5001/v1. Советы по картам: гайд по локальным LLM.

MiniTavern на телефоне

В одной Wi-Fi сети: http://192.168.x.x:5001/v1. Вне дома: Remote Tunnel или LM Studio LM Link.

Сравнение

	KoboldCpp	LM Studio	Ollama
Порт	5001	1234	11434
ST-коннектор	KoboldCpp	KoboldAI / OpenAI	Ollama

Заключение

KoboldCpp остаётся мощным способом запустить локальный LLM API для карт персонажей в 2026 году. GGUF на порту 5001, ST: Text Completion → KoboldCpp. Карты — на рынке, мобильная игра — MiniTavern, endpoint — localhost:5001.