体验本地大模型 Ollama + Cherry Studio

记录一次轻量的本地大模型试用：用 Ollama 运行 Qwen，再通过 Cherry Studio 聊天。
想看看普通办公电脑做总结、改写、翻译这些任务时，实际体验能不能接受。

1. 目的

给想在本地试用大模型的同事准备了一套简单方案：

• Ollama：负责本地运行模型
• Cherry Studio：提供图形界面，方便直接聊天使用
• Qwen 模型：用于本地文本问答、总结、改写等任务

这次主要验证：

• 本地模型在日常文本处理场景下是否够用
• 普通办公电脑是否能接受这个运行体验
• 后续是否值得申请专门机器或更高配置环境

---

2. 适用场景

适合的轻量文本任务包括：

• 长文本总结
• 会议纪要整理
• 文案改写
• 语气润色
• 翻译
• 提取要点
• 按模板生成初稿

暂时不建议用于：

• 复杂推理
• 高精度业务分析
• 大批量长文档处理
• 涉及敏感数据的正式生产场景

---

3. 推荐方案

大部分同事使用普通办公电脑，先从小模型开始。

默认推荐

qwen3.5:2b

适合：

• 普通办公电脑
• 集成显卡机器
• 以文本处理为主的轻量场景

特点：

• 更容易跑起来
• 速度通常更稳定
• 效果可以满足基础总结、改写、问答

可选进阶

qwen3.5:4b

适合：

• 内存较大（或有独立显卡）的电脑
• 对回答质量有更高要求
• 能接受速度略慢一些

说明：

• 4B 模型效果通常会比 2B 更好
• 但对机器要求也更高
• 如果电脑较老，可能会出现明显卡顿

当前不建议

• qwen3.5:9b 及以上版本
• 云端模型标签
• 其他超大参数版本

原因：

• 对普通办公电脑压力较大
• 启动和响应速度可能较慢
• 不适合作为第一轮试用默认方案

---

4. 安装步骤

首次安装和模型下载预计 10–30 分钟，具体取决于网络和电脑配置。

4.1 安装 Ollama

1. 打开 Ollama 官网下载安装包
   或使用共享盘中的安装包
2. 按提示完成安装
3. 安装完成后，打开终端
   Windows 可使用 PowerShell

可以先执行：

ollama --version

如果能正常显示版本信息，说明安装成功。

PS C:\Users\xxx> ollama --version
ollama version is 0.20.5

安装 Ollama 后，通常会默认在后台运行，无需额外执行 ollama serve；如果未正常运行，可从开始菜单重新打开 Ollama。

---

4.2 拉取并运行模型

Ollama 官网有 qwen3.5的模型列表。

建议先拉取 2B 模型：

ollama run qwen3.5:2b

如果电脑配置较好，也可以尝试：

ollama run qwen3.5:4b

第一次运行时会自动下载模型，请耐心等待。
下载完成后，会进入本地对话界面。

可先简单测试：

请帮我总结下面这段文字的核心内容，并用 3 条要点输出。

下载完成并进入对话界面后，可按需关闭当前终端窗口；如后续未正常运行，可从开始菜单重新打开 Ollama。

---

4.3 安装 Cherry Studio

1. 下载并安装 Cherry Studio
2. 打开软件，添加本地模型服务
3. 连接本地 Ollama
4. 选择已经下载的 Qwen 模型开始使用

连接方式如下：

• 模型服务 → Ollama
• 填写 API 地址：

http://localhost:11434

然后点击 管理，选择已下载模型右侧的 +，将模型添加到模型列表中。

接着可以：

• 点击左上角 首页
• 进入 默认助手
• 点击 新建话题
• 选择模型为 qwen3.5:2b

建议关闭思维链显示，界面会更干净。

---

5. 测试与体验

完成安装后，可以直接进行简单测试。

文本测试

可以输入一段文本，让模型做总结、改写、翻译或信息提取。

例如：

请把下面这段会议记录整理成：
1. 核心结论
2. 待办事项
3. 风险点
要求简洁清晰。

图片测试（可选）

另外，Qwen 也支持图片输入，可用于简单视觉理解测试。

例如可以上传一张图片，询问：

这张图表达了什么？

本地小模型的视觉能力有限，适合简单理解；复杂视觉任务的结果需要额外确认。

---

6. 试用任务

可以从以下几类任务开始：

任务 1：总结

输入一段较长文字，让模型提炼重点。

例如：

• 会议纪要
• 邮件内容
• 文档段落

任务 2：改写

让模型把一段话改得更清晰、更正式或更简洁。

任务 3：提取信息

让模型从文本中抽取：

• 时间
• 地点
• 人员
• 结论
• 待办事项

任务 4：翻译/润色

测试中英互译、句子优化、表达调整等基础能力。

---

7. 使用建议

输入时把任务说具体，结果通常更稳定。

不推荐

帮我处理一下

推荐

请把下面这段会议记录整理成：
1. 核心结论
2. 待办事项
3. 风险点
要求简洁清晰。

任务越明确，输出通常越稳定。

---

8. 注意事项

8.1 尽量不要输入敏感数据

试用阶段，工具配置、日志和使用边界还未完全确认。尽量不要直接输入：

• 客户敏感信息
• 公司核心经营数据
• 未脱敏的内部资料
• 其他不适合进入 AI 工具的内容

更建议优先使用：

• 公开文本
• 测试样例
• 已脱敏的内部文本

8.2 本地模型的输出不一定正确

本地模型更适合做：

• 初稿
• 辅助整理
• 文字处理

重要内容仍需人工确认，不能直接作为最终结论。

8.3 电脑性能会明显影响体验

不同电脑之间，体验差异可能很大：

• 有些电脑响应较快
• 有些电脑会明显卡顿
• 内存不足时，速度可能大幅下降

这轮试用也能帮助判断后续是否需要申请更高配置机器。

---

9. 常见问题

9.1 模型下载很慢

首次下载需要一些时间。

9.2 模型能启动，但回复很慢

通常和机器配置有关。
建议优先使用 qwen3.5:2b，不要直接尝试更大模型。

9.3 Cherry Studio 连不上本地模型

先确认：

• Ollama 是否已正常安装
• 模型是否已经成功运行过一次
• API 地址是否填写为 http://localhost:11434

可以先在命令行执行：

ollama list

检查模型是否已经下载成功。

PS C:\Users\xxx> ollama list
NAME                       ID              SIZE      MODIFIED
qwen3.5:4b                 2a654d98e6fb    3.4 GB    17 hours ago
qwen3.5:9b                 6488c96fa5fa    6.6 GB    17 hours ago
nomic-embed-text:latest    0a109f422b47    274 MB    5 months ago

9.4 输出质量一般

小模型更适合轻量文本处理。复杂任务请把结果当作草稿或参考。

---

10. 试用后怎么决定下一步

根据试用反馈，重点判断：

• 哪些文本处理任务已经够用
• 2B / 4B 模型在普通办公电脑上的实际体验
• 是否需要申请更高配置机器

再决定是否：

• 统一推荐模型版本
• 补充常用提示词模板
• 申请更高配置机器
• 进一步探索部门内的实际使用场景

---

11. （可选）试用反馈

试用后可反馈：

1. 电脑配置（大概即可）
2. 使用的模型（2B / 4B）
3. 是否遇到安装或连接问题
4. 主要任务类型（总结 / 改写 / 翻译 / 提取）
5. 体验如何（流畅 / 一般 / 较慢）
6. 是否愿意继续使用

---

12. 小结

Ollama + Cherry Studio + qwen3.5:2b 适合先在普通办公电脑上试用本地文本处理。试完再根据实际任务和机器表现，决定要不要扩展模型、补提示词，或申请更高配置。