Ollama通过gguf文件加载AI模型

#0 下载AI模型文件首先需要准备好AI模型文件.gguf可以在 这里 下载到。#1 下载并配置Ollama1. 下载准备好Ollama可以从 ollama官网 下载2. 创建Modelfile文件下载完成后找到安装目录可以在开始菜单右键其图标选择“打开文件位置查看”在其目录下新建一个“Modelfile”文件并在文件内写入FROM 你的*.gguf文件位置3. 配置环境变量与移动程序位置 (C盘空间充足者可略过)Ollama的软件和模型是默认装在C盘用户文件夹内的如果C盘空间不够可以将Ollama的整个目录移动到其它盘快捷方式需要重新建。同样Ollama加载模型文件时会在其默认模型文件夹内创建与模型文件一样大的副本所以需要将其从C盘移动到其他位置。可以通过修改创建系统环境变量实现4. 导入模型文件到Ollama打开cmdcd到Ollama安装目录下,创建模型cd E:\Program Files\Ollama # cd到你设置的Ollama创建模型文件的位置 ollama.exe create Model_1 # Model_1可以是你起的模型名称(应该是只允许A-Za-z0-9_)然后一段漫长的等待……只要结束后没有类似“[Error]”的字样一般是已经配置成功了#3 启动AI模型打开cmdcd到Ollama安装目录下并启动服务注意启动服务后不要关闭窗口因为服务正在运行这样可以通过关闭服务来关闭正在运行的实例cd E:\Program Files\Ollama # cd到你设置的Ollama创建模型文件的位置 Ollama.exe serve # 启动服务此时还没有启动AI模型需要在另一个cmd窗口中输入以下命令来启动AI模型注意此操作将会把模型文件载入到内存中如果模型文件非常大内存可能会爆满卡死请查看你的剩余内存与模型文件大小以评估是否可以打开AI模型如果实在不行可以换小一点的模型启动模型的过程中可能会卡顿请提前关闭其他占内存的程序后再启动cd E:\Program Files\Ollama # cd到你设置的Ollama创建模型文件的位置 ollama.exe run Model_1 # Model_1改成你的模型名称等待其输出变成“Send a message”时就说明已经将模型加载到内存可以与其对话了注意对话时“ollama.exe”程序可能会消耗大量的CPU或GPU前提是电脑GPU支持CUDA等请留意任务管理器避免卡死造成的损失#4 退出对话并关闭服务可以在对话窗口中就是那个有输出“Send a message”的窗口输入/bye然后回车就退出对话了如果还想对话就不要关闭用于启动服务的cmd窗口但一段时间后它也会自动释放内存关闭模型。如果不想对话了就关闭用于启动服务的cmd窗口就可以退出对话释放内存。另外在模型输出过程中如果想强制关闭也可以直接点击cmd右上方的叉来关闭对话而且关闭后对话将停止不会额外占用CPU#5 其它的ollama命令可以cd到ollama目录后输入ollama.exe -h会输出一串帮助内容如serve用于启动ollama服务create用于创建一个AI模型show查看某个已创建的模型信息run启动模型list查看已导入的模型ps查看正在运行的模型cp复制某个模型rm删除某个模型help查看帮助更多内容可以看官方文档或教程在此不一一阐述。#总结通过ollama与gguf文件可以在电脑上运行一个属于自己的离线AI模型比闭源模型更可以保护隐私信息不被泄露。另外在自己的电脑上集成AI模型可以随时随地使用不被网络环境限制原创文章自己一点一点摸索出来的。制作不易感谢支持与采纳