Ollama通过gguf文件加载AI模型

发布时间:2026/10/10 17:37:56

Ollama通过gguf文件加载AI模型 #0 下载AI模型文件首先需要准备好AI模型文件.gguf可以在 这里 下载到。#1 下载并配置Ollama1. 下载准备好Ollama可以从 ollama官网 下载2. 创建Modelfile文件下载完成后找到安装目录可以在开始菜单右键其图标选择“打开文件位置查看”在其目录下新建一个“Modelfile”文件并在文件内写入FROM 你的*.gguf文件位置3. 配置环境变量与移动程序位置 (C盘空间充足者可略过)Ollama的软件和模型是默认装在C盘用户文件夹内的如果C盘空间不够可以将Ollama的整个目录移动到其它盘快捷方式需要重新建。同样Ollama加载模型文件时会在其默认模型文件夹内创建与模型文件一样大的副本所以需要将其从C盘移动到其他位置。可以通过修改创建系统环境变量实现4. 导入模型文件到Ollama打开cmdcd到Ollama安装目录下,创建模型cd E:\Program Files\Ollama # cd到你设置的Ollama创建模型文件的位置 ollama.exe create Model_1 # Model_1可以是你起的模型名称(应该是只允许A-Za-z0-9_)然后一段漫长的等待……只要结束后没有类似“[Error]”的字样一般是已经配置成功了#3 启动AI模型打开cmdcd到Ollama安装目录下并启动服务注意启动服务后不要关闭窗口因为服务正在运行这样可以通过关闭服务来关闭正在运行的实例cd E:\Program Files\Ollama # cd到你设置的Ollama创建模型文件的位置 Ollama.exe serve # 启动服务此时还没有启动AI模型需要在另一个cmd窗口中输入以下命令来启动AI模型注意此操作将会把模型文件载入到内存中如果模型文件非常大内存可能会爆满卡死请查看你的剩余内存与模型文件大小以评估是否可以打开AI模型如果实在不行可以换小一点的模型启动模型的过程中可能会卡顿请提前关闭其他占内存的程序后再启动cd E:\Program Files\Ollama # cd到你设置的Ollama创建模型文件的位置 ollama.exe run Model_1 # Model_1改成你的模型名称等待其输出变成“Send a message”时就说明已经将模型加载到内存可以与其对话了注意对话时“ollama.exe”程序可能会消耗大量的CPU或GPU前提是电脑GPU支持CUDA等请留意任务管理器避免卡死造成的损失#4 退出对话并关闭服务可以在对话窗口中就是那个有输出“Send a message”的窗口输入/bye然后回车就退出对话了如果还想对话就不要关闭用于启动服务的cmd窗口但一段时间后它也会自动释放内存关闭模型。如果不想对话了就关闭用于启动服务的cmd窗口就可以退出对话释放内存。另外在模型输出过程中如果想强制关闭也可以直接点击cmd右上方的叉来关闭对话而且关闭后对话将停止不会额外占用CPU#5 其它的ollama命令可以cd到ollama目录后输入ollama.exe -h会输出一串帮助内容如serve用于启动ollama服务create用于创建一个AI模型show查看某个已创建的模型信息run启动模型list查看已导入的模型ps查看正在运行的模型cp复制某个模型rm删除某个模型help查看帮助更多内容可以看官方文档或教程在此不一一阐述。#总结通过ollama与gguf文件可以在电脑上运行一个属于自己的离线AI模型比闭源模型更可以保护隐私信息不被泄露。另外在自己的电脑上集成AI模型可以随时随地使用不被网络环境限制原创文章自己一点一点摸索出来的。制作不易感谢支持与采纳
延伸阅读

更多相关文章

2026/10/7 18:30:43

异步程序方案选型,别只看功能清单

异步程序方案选型,别只看功能清单 Tokio 的功能列表不告诉我超时后任务是否仍在运行。我用 timeout 包住测试 future,执行 cargo test timeout_cancels。外部 I/O 的关闭方式不能由这个内存测试推断。

2026/10/10 17:34:45

LoRA微调与知识蒸馏联合优化实战指南

1. 为什么“更省的微调”和“更小的学生”不是营销话术,而是工程落地的刚性需求LoRA 和知识蒸馏这两个词最近在大模型圈里被反复提起,但很多人一看到“微调”就下意识想到租三台A100跑一周、显存爆满、checkpoint动辄30GB——结果还没调完,预…

2026/10/10 17:34:45

从Demo到生产:Agent架构与多智能体协作实战指南

过去一年里被问得最多的问题,不是“怎么用 LangChain 写一个 Agent”,而是“写完 Demo 之后怎么办”。前后端联调跑通了,Prompt 也调得挺顺,但一放到生产环境,各种奇怪问题全冒出来:上下文错乱、工具调用超…

2026/10/10 17:34:45

Agent从Demo到生产落地:架构、多智能体与可靠性指南

这是最近被问得最多的一类问题:Agent 的 Demo 跑得风生水起,一上生产就露怯。我自己也经历过这个阶段——在内部验证会上,一个能自动查库存、写邮件、汇报结果的智能体把在场的人都看嗨了,可等它真的接到业务系统里,第…

2026/10/10 17:34:45

OpenClaw配置QQ机器人保姆级教程:WSL2+NapCat+OneBot全流程实战

很多朋友第一次接触OpenClaw,都是被那句“让你的AI自己用电脑”吸引过来的。但真到自己动手配置QQ机器人时,才发现坑远比想象中多——WSL2环境报错、Node.js版本不对、MySQL连不上、NapCat转发器配置完但消息就是发不出去……这套组合拳下来,…

2026/10/10 17:34:45

Shell 脚本入门:写好第一个脚本的必备基础

学 Linux 自动化运维,Shell 是绕不过去的第一关。这篇把「Shell 是什么、脚本怎么跑起来、变量怎么写」一次讲清,读完你能独立写出并执行第一个脚本。文中的变量基础部分与旧文《Shell 变量与环境变量》互补,重复的演示已压缩并注明去处。 本…

2026/10/10 17:29:42

LL(1)文法与四元式:IF-ELSE翻译程序的核心实现

简介:针对编译原理课程中IF-ELSE条件语句的翻译程序设计任务,这份资源提供了基于LL(1)分析法并输出四元式的完整工程实现。资源包共17个文件,压缩包仅417KB,包含Visual Studio工程文件(sln、vcproj)、C源代…

2026/10/10 7:31:36

Jev+Agent接管浏览器:browser-use实战与jev-ultrafast性能优化

1. 从“Jev”说起:为什么我要把Agent接进浏览器“Jev”这个词最近在圈子里出现的频率越来越高,很多人第一次听到会以为是某个新模型的名字,其实它更像是一种思路——把Jev模型的能力当作底座,通过Agent的方式去接管浏览器&#xf…

2026/10/9 20:15:56

多智能体集群实战:DeepAgents编排、MCP与A2A协议及Skills体系

1. 从"单兵作战"到"集群协同":多智能体编排到底在解决什么问题如果你最近在折腾 Agent 相关的东西,大概率会有一种感觉:单个 Agent 能做的事情,其实很快就摸到天花板了。你给它一个提示词,挂几个工…

2026/10/8 6:05:44

无源低通滤波器设计实战:从RC到LC,手把手教你避开那些坑

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/10 0:04:53

从逻辑门到计算机:数字电路核心原理与全加器搭建实战

如果你拆过一台旧电脑的主板,盯着那些黑乎乎的小芯片看上一会儿,可能会冒出同一个疑问:这堆引脚密集的元件,到底是怎么“变”出那么复杂的应用的?答案并不在某个神秘的部件里,而是在所有芯片内部都在反复使…

还想了解更多?直接咨询顾问

免费诊断 + 免费方案 + 透明报价。

全国咨询热线400-8866-253
免费获取方案
☎咨询二维码 ☎ ↑