本文介绍mac下安装Ollama + Open WebUI + Llama3.1 8b具体步骤。
目录
- 推荐配置
- Ollama Open WebUI Llama3.1简介
- 安装Ollama
- 安装Open WebUI
推荐配置
m1以上芯片，16g内存，20g以上硬盘空间
Ollama Open WebUI Llama3.1简介
- Ollama: 下载，管理和本地调用大模型的软件，支持常见大语言模型如llama, qwen等，官网https://ollama.com/。支持的模型列表：https://ollama.com/search
- Llama3.1: meta开源的大模型: https://github.com/meta-llama/llama-models/tree/main。有8B, 70B and 405B三种规格。8b代表的是模型参数量和模型大小，即llama3.1模型拥有大约800亿(8 billion)个参数。
参数越大(如: 70B, 405B…)，代表模型越大也越复杂，跑起来所需要的硬件成本也越高。因此，对于个人使用/测试，一般都首选8b - openweb ui: 有丰富功能的可扩展本地AIweb界面，用户在openweb ui界面上输入问题，和模型交互，也可以自定义prompt，下载其他工具增强模型功能等。
安装Ollama
- mac下载ollama: https://ollama.com/,下载下来是个zip包，里面就有app程序直接打开。
2. 使用ollama下载运行llama3.1:8b到本地mac机器：ollama run llama3.1:8b
安装Open WebUI
- 最好使用Python 3.11.9，pip对应版本也装好
- pip安装Open WebUI: pip3.11 install open-webui
- mac下起open-webui：/Library/Frameworks/Python.framework/Versions/3.11/bin/open-webui serve，会自动打印日志出来
- ollama默认在11434起了端口，Open WebUI通过11434端口和Llama交互
- 打开127.0.0.1:8080 openwebui页面，注册新账号，左上角选择llama3.18b模型并设为默认，开始提问
6. 也可通过ollama直接和llama 3.1模型交互，提问获得回答
