Ollama 教程：最简单的本地 LLM 接入 SillyTavern 与 MiniTavern（2026）

想在 本地大模型 上玩角色扮演，又不想先折腾 GPU 层数或便携二进制？Ollama 通常是 SillyTavern 社区里的第一推荐。装一次、ollama pull、把 SillyTavern 或 MiniTavern 连到 http://localhost:11434，角色卡就留在本机——没有 OpenAI 账号，也没有按 token 计费。

本文介绍 Ollama 是什么、核心术语、桌面与手机局域网配置，以及在 2026 年与 KoboldCpp、LM Studio 的对比。

什么是 Ollama？

Ollama 是本地大模型运行时与模型管理器。它下载 开源权重模型、维护本地模型库、在后台运行 守护进程（默认端口 11434），并提供：

• Ollama 原生 API：http://localhost:11434/api/
• OpenAI 兼容 API：http://localhost:11434/v1/（chat/completions）

底层基于 llama.cpp 等运行时，用 CLI 封装得很顺手。支持 macOS、Linux、Windows。

与云端 API 不同，提示词、角色卡正文、世界书与聊天记录只在你控制的硬件上处理。

Ollama 核心术语

术语	含义
ollama pull	从 Ollama 库下载模型（如 ollama pull llama3.1）
ollama run	在终端交互加载模型，快速自测
ollama serve	启动或确认后台 API 服务（安装后常自动运行）
ollama list	查看本机已下载模型
ollama ps	查看当前已加载/运行中的模型
Modelfile	自定义模型配方（系统提示、参数、基座模型）
OLLAMA_HOST	环境变量，将服务绑定到局域网（如 0.0.0.0:11434）
Model library	ollama.com/library 上的官方模型标签
Context length	各模型变体的上下文上限；越大越吃内存/显存

为什么酒馆用户选 Ollama？

1. 门槛最低 — pull + 连 ST，比手动找 GGUF 省事。
2. SillyTavern 原生支持 — API 下拉里直接有 Ollama。
3. 默认私密 — 不主动暴露端口时数据不出本机。
4. 适合新手 — 入门本地后端，再进阶 KoboldCpp 调参或 LM Studio 图形界面。

同一 Wi-Fi 下，MiniTavern 的 多模型中枢 可指向 http://192.168.x.x:11434/v1。外出加密访问可配 VPN，或对比 LM Studio LM Link 与 KoboldCpp Remote Tunnel。

准备工作

• 系统：macOS、Linux 或 Windows 10+。
• 内存：建议 16 GB；8 GB 可跑 3B–7B。
• GPU（可选）：Apple Silicon、NVIDIA 或 AMD——Ollama 会尽量自动加速。
• SillyTavern 或 MiniTavern 中已有角色卡（Card Quest 市场 或 Chrome 扩展）。

第一步：安装 Ollama

macOS / Linux：

curl -fsSL https://ollama.com/install.sh | sh

Windows： 从 ollama.com/download 下载安装包。

验证：

ollama --version

macOS/Windows 托盘图标或 Linux 系统服务会保持守护进程运行。

第二步：拉取适合扮演的模型

ollama pull llama3.1:8b
ollama pull mistral
ollama pull qwen2.5:7b

快速测试：

ollama run llama3.1:8b

能正常回复即可。输入 /bye 退出。

模型标签	内存/显存参考	扮演说明
llama3.1:8b	~8 GB	指令跟随强
mistral	~6 GB	速度快，经典选择
qwen2.5:7b	~6 GB	多语言角色卡友好
gemma2:9b	~8 GB	对话自然

复杂角色卡与世界书避免 3B 以下小模型。

第三步：确认 API 服务

默认地址：http://localhost:11434

ollama ps
ollama list
curl http://localhost:11434/v1/models

第四步：接入 SillyTavern（推荐 Ollama 连接器）

1. SillyTavern → 插头图标 → API Connections。
2. API：选择 Ollama（或视版本选 Chat Completion + Ollama 源）。
3. Server URL：http://localhost:11434。
4. Connect → 选择已 pull 的模型。
5. 导入角色卡 → 发开场白测试。

扮演调优： 精简系统提示；上下文 4096–8192；温度 0.7–0.9。详见 本地 LLM 隐私指南。

备选：OpenAI 兼容模式

API：Chat Completion → Source：Custom → Base URL：http://localhost:11434/v1。

第五步：手机 MiniTavern（同一 Wi-Fi）

Ollama 默认只监听 localhost。局域网访问需：

macOS / Linux：

export OLLAMA_HOST=0.0.0.0:11434
ollama serve

Windows： 设置环境变量 OLLAMA_HOST=0.0.0.0:11434 并重启 Ollama。

MiniTavern 自定义端点：http://192.168.x.x:11434/v1，PC 防火墙放行 11434。

安全提示： 0.0.0.0 会对局域网暴露服务——勿在未加认证的情况下做公网端口映射。

可选：用 Modelfile 自定义模型

创建 my-rp.Modelfile：

FROM llama3.1:8b
PARAMETER temperature 0.8
SYSTEM 你是简洁的角色扮演助手，始终保持人设。

ollama create my-rp -f my-rp.Modelfile

在 SillyTavern 连接后选择 my-rp。

常见问题

现象	处理
连接被拒绝	启动 Ollama / ollama serve；检查 11434
ST 无模型	先 ollama pull；重新 Connect
回复慢	换小模型；确认 GPU 加速生效
内存不足	用 :7b 而非 :70b；关闭占显存程序
手机连不上	设 OLLAMA_HOST；检查防火墙
破人设	缩短角色卡；匹配 chat 预设

Ollama vs KoboldCpp vs LM Studio

	Ollama	KoboldCpp	LM Studio
上手难度	最低	便携二进制 + 自找 GGUF	图形界面 + 模型目录
默认端口	11434	5001	1234
ST 连接器	Ollama 原生	KoboldCpp	KoboldAI / OpenAI
GPU 调优	自动为主	精细（GPU Layers）	GUI 友好
远程手机	局域网 + VPN	Remote Tunnel	LM Link
适合	新手、快速开玩	硬核调参	选模型 + LM Link

很多人 先用 Ollama 入门，14B+ 重载再迁到 KoboldCpp 或 LM Studio。

隐私建议

1. ST/MiniTavern 关闭云端 API 回退。
2. 勿将 11434 暴露到公网。
3. 只从 Ollama 官方库或可信 Modelfile 拉模型。
4. 保持 Ollama 更新。
5. 私密 lore 可 加密 PNG 角色卡。

结语

Ollama 是 2026 年 私密角色卡扮演 最快的上车方式：安装、ollama pull、连 11434 就开聊。

浏览角色卡市场，安装 MiniTavern 移动端，把 API 指向 localhost:11434 即可。