文章目录
- Mac 基于 Ollama 安装 DeepSeek-R1（蒸馏版本）、AnythingLLM 及使用体验
- Ollama 简介
- 下载与安装 Ollama
- 下载并运行 DeepSeek-R1
- 1. 在终端运行（建议从 8B 开始）
- 2. 本地模型存储路径
- 3. 终端测试
- 4. 查询服务状态
- 5. 退出服务
- 下载并运行 AnythingLLM
- 1. 下载与安装
- 2. 设置 LLM 偏好
- 3. 数据处理与隐私
- 4. 创建工作空间
- 使用体验总结
Mac 基于 Ollama 安装 DeepSeek-R1（蒸馏版本）、AnythingLLM 及使用体验
Ollama 简介
Ollama 是一个基于 TensorFlow 的开源项目，提供轻量级的 AI 运行时框架。它允许用户在本地环境中运行预训练的语言模型，无需依赖云端服务。
下载与安装 Ollama
-
下载 Ollama
从官网 Ollama 下载页 获取 mac 版本。 -
安装
下载完成后，双击安装包并按照指引完成安装。
下载并运行 DeepSeek-R1
1. 在终端运行（建议从 8B 开始）
ollama run deepseek-r1:8b
ollama run 是 Ollama 提供的命令行工具，用于在本地运行预训练模型，其基本功能包括：
- 加载本地模型文件：检查本地存储路径，寻找已下载的模型。
- 运行模型：启动一个本地服务，等待输入并生成输出。
2. 本地模型存储路径
cd $HOME/.ollama/models/manifests/registry.ollama.ai/library
3. 终端测试
运行命令后，出现 >>> 提示符，即可输入问题进行测试。
4. 查询服务状态
ollama ps
5. 退出服务
在 >>> 提示符后输入：
/bye
下载并运行 AnythingLLM
1. 下载与安装
从 AnythingLLM 官网 下载 mac 版本，双击安装。
2. 设置 LLM 偏好
在 “Search LLM providers” 选项中选择 “Ollama”。
3. 数据处理与隐私
- Embedding 模型使用 AnythingLLM 自带的小模型。
- 向量存储使用其自带的向量库。
4. 创建工作空间
安装完成后，创建一个工作空间，然后即可输入和测试模型。
使用体验总结
✅ 优点：
- 在本地运行，无需依赖云端，数据更私密。
- 配置相对简单，适合开发者和 AI 研究者。
❌ 缺点：
- 笔记本容易发烫：轻度使用时还可以接受。
- AnythingLLM 目前版本问题：
- 似乎无法手动终止会话。
- 上下文管理容易混乱。