1. 先搞清楚这套组合拳到底能解决什么问题如果你在Linux环境下想基于自己的数据对大模型做微调并且希望最终能有一个像Ollama那样简单易用的本地部署和交互方式那么“Llamafactory微调 Ollama格式打包”这条技术路线就值得你花时间研究一下。这本质上是一套从“数据准备”到“模型产出”再到“服务部署”的完整流水线。Llamafactory负责解决微调这个技术门槛最高的环节它提供了WebUI和脚本两种方式让你不用从零写训练代码。而Ollama则负责解决部署和交互的易用性问题它能把模型打包成一个独立的、自带推理引擎的“模型包”通过简单的命令行就能拉取和运行。所以这篇文章的核心价值在于把两个领域的优秀工具串联起来让你能用相对标准化的流程完成从数据到可用服务的闭环。特别适合那些有特定领域数据比如客服对话、技术文档、内部知识想训练一个专属模型但又不想深陷于复杂的模型服务框架部署的运维或开发人员。我建议你先别急着看具体命令而是想清楚你的目标是测试流程还是生产部署这决定了你后续在资源分配、参数选择和流程严谨性上的投入。如果只是学习一台有显卡的Linux机器甚至CPU模式就能跑通如果要用于实际业务那么数据清洗、实验记录、版本管理和性能压测每一步都不能省。2. 环境准备别在第一步就卡住在开始任何微调之前把环境理顺是最高效的投入。很多“跑不起来”的问题根源都在环境上。2.1 硬件与系统基础系统主流Linux发行版均可如Ubuntu 22.04 LTS、CentOS 7/8 Stream、Rocky Linux等。确保系统已更新到最新稳定版。Python这是整个流程的基石。建议使用Python 3.10或3.11。不推荐使用系统自带的Python 2.x或过旧的3.x版本。使用conda或venv创建独立的虚拟环境是绝对的最佳实践能避免依赖冲突。# 创建并激活虚拟环境以conda为例 conda create -n llamafactory python3.10 conda activate llamafactoryCUDA与显卡驱动如果你有NVIDIA显卡并希望使用GPU加速训练和推理这是必须的。通过nvidia-smi命令检查驱动和CUDA版本。Llamafactory通常需要CUDA 11.8或12.1。如果你的驱动版本太旧先去NVIDIA官网下载对应显卡的最新驱动安装。磁盘空间这是最容易忽略的一点。一个7B参数量的模型原始权重文件大约14GB微调过程中会产生多个检查点每个都可能十几GB再加上数据集、日志轻松占用上百GB。确保你的工作目录有充足的剩余空间建议200GB以上。2.2 核心工具安装Llamafactory 和 OllamaLlamafactory安装官方推荐使用pip从源码安装这样可以获取最新特性。网络条件不佳时可以使用国内镜像源加速。# 克隆仓库 git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory # 使用国内镜像加速安装依赖 pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple # 安装Llamafactory自身开发模式便于修改 pip install -e .安装完成后可以通过运行WebUI来验证基础环境是否OKCUDA_VISIBLE_DEVICES0 llamafactory-cli webui --port 7860访问http://你的服务器IP:7860如果能打开界面说明Web服务启动成功。但先别急着训练我们还需要模型权重。Ollama安装Ollama的安装相对简单。官网提供了多种安装方式。对于Linux最直接的是使用一键脚本。如果下载慢可以寻找或配置国内镜像源。# 官方安装脚本 curl -fsSL https://ollama.com/install.sh | sh # 安装后启动Ollama服务 ollama serve # 注意默认服务运行在11434端口。你可以通过ollama list测试是否安装成功。一个重要提醒Ollama主要用于模型的推理部署。微调过程本身是在Llamafactory中完成的。Ollama的作用是接收Llamafactory产出的微调后模型并将其转化为Ollama的模型格式Modelfile进行封装以便用ollama run这样的简单命令来调用。2.3 获取基础模型权重微调不是在白纸上作画而是在一个预训练好的大模型如Llama 3、Qwen、ChatGLM等基础上进行。你需要自行下载这些模型的权重文件通常是从Hugging Face Model Hub。例如下载Meta的Llama 3 8B Instruct模型访问Hugging Face的模型页面如meta-llama/Meta-Llama-3-8B-Instruct并按照要求完成授权申请。使用git-lfs克隆仓库或使用huggingface-hub库的Python接口下载。# 安装huggingface-hub pip install huggingface-hub # 使用命令行工具下载需要先登录huggingface-cli login huggingface-cli download meta-llama/Meta-Llama-3-8B-Instruct --local-dir ./models/Meta-Llama-3-8B-Instruct将下载好的模型权重文件夹路径记下来后续在Llamafactory的配置中需要指定这个路径。网络问题处理下载大模型权重是另一个常见的卡点。如果直接下载速度慢可以考虑使用国内镜像站如魔搭社区ModelScope部分模型有同步。在能高速访问的网络环境先下载好再传输到服务器。使用一些支持断点续传的下载工具。3. 使用Llamafactory进行微调从WebUI到脚本Llamafactory提供了WebUI和脚本两种操作方式。对于初学者或快速实验WebUI非常友好对于需要复现、自动化或集成到CI/CD中的生产流程脚本是更可靠的选择。3.1 WebUI方式快速可视化实验启动WebUI后主要配置集中在以下几个标签页模型信息 (Model): 在这里加载你下载的基础模型。模型名称可以自定义如my-llama3。模型路径填写你下载的模型权重文件夹的绝对路径例如/home/user/models/Meta-Llama-3-8B-Instruct。模板选择与基础模型匹配的对话模板如llama3。这决定了对话的历史记录如何被格式化。Finetuning Type选择微调方法。对于全量参数微调选full对于更高效的LoRA微调选lora。初学者建议从LoRA开始因为它更快显存占用更少。数据 (Data): 准备你的训练数据。数据格式通常支持JSON、JSONL或CSV。Llamafactory期望一个包含instruction指令、input输入、output输出字段的字典列表。示例格式 (dataset.jsonl):{instruction: 将以下中文翻译成英文, input: 今天天气真好。, output: The weather is really nice today.} {instruction: 解释以下术语, input: 机器学习, output: 机器学习是人工智能的一个分支它允许系统从数据中自动学习和改进而无需明确编程。}将数据文件上传后可以点击“预览”检查数据是否被正确解析。如果遇到“训练数据不能预览”99%的原因是数据格式不符合上述规范或者文件编码不是UTF-8。请先用小批量数据验证格式。训练 (Train): 设置关键的超参数。学习率 (Learning Rate): 这是最重要的参数之一。对于全量微调可以从5e-5开始对于LoRA可以从1e-4开始。学习率太大可能导致训练不稳定loss NaN太小则收敛慢。训练轮数 (Epochs): 整个数据集遍历的次数。根据数据量大小3-5个epoch通常是合理的起点。批处理大小 (Batch Size): 一次训练多少样本。这个值受限于你的GPU显存。如果遇到CUDA out of memory错误首先降低这个值。也可以使用“梯度累积步数 (Gradient Accumulation Steps)”来模拟更大的批大小。最大序列长度 (Max Source Length / Max Target Length): 根据你的数据中最长文本的长度来设置设置过大会浪费显存和计算时间。一般512或1024是常见起点。输出目录 (Output Dir): 指定保存微调后模型检查点的路径。开始训练: 配置好后点击“开始训练”。WebUI下方会显示训练日志包括损失值loss的变化。请务必监控loss曲线一个健康的训练过程loss应该稳步下降并逐渐趋于平缓。如果loss剧烈波动或变成NaN通常需要降低学习率。WebUI的局限性WebUI适合探索和简单任务。但对于长时间训练浏览器连接可能中断且任务管理不如脚本灵活。生产环境更推荐使用脚本。3.2 脚本方式可复现与自动化Llamafactory提供了强大的命令行工具llamafactory-cli和对应的配置文件.yaml。这是更专业的方式。准备配置文件: 复制一个示例配置文件如examples/train_sft.yaml并进行修改。# train_custom.yaml model_name_or_path: /home/user/models/Meta-Llama-3-8B-Instruct # 基础模型路径 dataset_dir: /home/user/data # 数据集目录 dataset: my_dataset # 数据集文件名不带后缀 template: llama3 finetuning_type: lora output_dir: ./saves/my_finetuned_model per_device_train_batch_size: 4 gradient_accumulation_steps: 4 learning_rate: 1e-4 num_train_epochs: 3 max_source_length: 512 max_target_length: 512 logging_steps: 10 # 每10步记录一次日志 save_steps: 500 # 每500步保存一个检查点 eval_steps: 500 # 每500步进行一次评估如果有验证集将你的数据集文件如my_dataset.json放在/home/user/data目录下。启动训练:CUDA_VISIBLE_DEVICES0 llamafactory-cli train train_custom.yamlCUDA_VISIBLE_DEVICES0指定使用第一块GPU。如果是多卡可以写成0,1。监控训练:日志控制台输出的日志会显示loss、学习率等信息。更详细的日志会保存在output_dir下的runs文件夹中可以用TensorBoard查看。显存监控使用nvidia-smi -l 1每秒刷新一次观察GPU显存占用和利用率。检查点训练过程中保存的检查点位于output_dir下。如果训练中断可以通过修改配置文件中的resume_from_checkpoint参数指向最新的检查点路径来恢复训练。脚本方式的优势配置即代码易于版本管理可以方便地提交到后台任务队列如nohup或slurm便于进行超参数扫描等自动化实验。4. 微调后模型打包与Ollama部署训练完成后你会在输出目录得到一系列文件包括适配器权重如果是LoRA或整个模型权重。接下来需要将其转化为Ollama能识别的格式。4.1 模型导出与合并对于LoRA等参数高效微调方法训练得到的是一个小型的适配器文件如adapter_model.bin需要与原始的基础模型进行合并才能得到一个完整的、可独立推理的模型。Llamafactory提供了导出脚本# 假设你的训练输出目录是 ./saves/my_finetuned_model CUDA_VISIBLE_DEVICES0 llamafactory-cli export \ --model_name_or_path /home/user/models/Meta-Llama-3-8B-Instruct \ # 基础模型 --adapter_name_or_path ./saves/my_finetuned_model \ # 适配器路径 --template llama3 \ --finetuning_type lora \ --export_dir ./merged_model # 合并后模型输出路径这个命令会生成一个完整的Hugging Face格式模型保存在./merged_model目录下。这个目录结构就是Ollama所需的“模型文件”。4.2 创建Ollama ModelfileOllama通过一个名为Modelfile的配方文件来定义如何构建一个模型。你需要创建一个Modelfile文件内容如下# Modelfile FROM ./merged_model # 指向上一步合并后的模型目录 # 设置模型的参数 PARAMETER temperature 0.7 # 控制生成随机性的温度 PARAMETER top_p 0.9 # 核采样参数 PARAMETER num_predict 512 # 最大生成token数 # 设置系统提示词可以在这里定义模型的角色和行为 SYSTEM 你是一个由[你的组织/你]微调的助手基于Llama 3模型。你擅长处理[你的领域]相关的问题。FROM指令是关键它可以直接指向本地文件系统路径以.或/开头。这样Ollama就会使用你本地合并好的模型而不是去网上下载。4.3 构建并运行Ollama模型在包含Modelfile的目录下执行构建命令ollama create my-custom-model -f ./Modelfile这条命令告诉Ollama“请根据当前目录下的Modelfile创建一个名为my-custom-model的模型。”构建过程可能会花费几分钟Ollama会读取模型文件并进行一些优化。完成后你就可以像使用任何其他Ollama模型一样使用它了# 运行模型进行交互式对话 ollama run my-custom-model # 或者通过API调用 curl http://localhost:11434/api/generate -d { model: my-custom-model, prompt: 请介绍一下你自己。, stream: false }4.4 部署与访问优化至此模型已经在本地运行。但要让其他用户或服务访问还需要考虑部署。作为后台服务确保Ollama服务在后台持续运行。可以通过系统服务systemd来管理。# 创建systemd服务文件如 /etc/systemd/system/ollama.service # 内容示例 # [Unit] # DescriptionOllama Service # Afternetwork-online.target # # [Service] # ExecStart/usr/local/bin/ollama serve # Userollama # 建议创建一个专用用户 # Groupollama # Restarton-failure # RestartSec5s # # [Install] # WantedBymulti-user.target sudo systemctl daemon-reload sudo systemctl enable ollama sudo systemctl start ollama网络访问默认Ollama API监听在127.0.0.1:11434只允许本地访问。如果需要从其他机器访问必须谨慎处理。一种方式是通过反向代理如Nginx将Ollama的API暴露出去并配置严格的认证和防火墙规则。绝对不要直接将Ollama服务绑定到0.0.0.0而不做任何安全措施。与Web应用集成你可以基于Ollama的API/api/generate,/api/chat开发自己的前端界面或者使用现有的开源WebUI如Open WebUI、Ollama WebUI来提供一个更友好的聊天界面。这些WebUI通常通过Docker部署并通过环境变量配置Ollama的API地址http://host.docker.internal:11434或你的服务器内网IP。5. 关键排查点与经验之谈走通整个流程不难但要让流程稳定、可靠需要注意下面这些细节。5.1 微调过程中的常见问题Loss为NaN或训练崩溃这是学习率Learning Rate设置过高的典型表现。第一步永远是调低学习率可以尝试降低一个数量级例如从1e-4降到1e-5。其次检查数据中是否有异常值如极长的文本、乱码。显存不足CUDA Out Of Memory这是硬件限制。解决方案有1) 减小per_device_train_batch_size2) 启用梯度检查点gradient_checkpointing: true用计算时间换显存3) 使用更高效的微调方法如QLoRA4) 降低max_source_length和max_target_length。训练速度慢首先用nvidia-smi确认GPU利用率是否接近100%。如果很低可能是数据加载DataLoader成为瓶颈。可以尝试1) 增加dataloader_num_workers2) 将数据预处理成内存友好的格式如Arrow3) 使用更快的存储如NVMe SSD。模型“遗忘”或“胡说八道”这可能是过拟合。表现为在训练数据上表现很好但在新问题上表现糟糕。解决方法1) 增加训练数据量2) 减少训练轮数num_train_epochs3) 使用更小的学习率4) 在数据中混入一部分通用指令数据帮助模型保持通用能力。5.2 Ollama部署与运行问题ollama create构建失败首先检查Modelfile中FROM的路径是否正确、模型文件是否完整。查看Ollama服务日志journalctl -u ollama -f获取详细错误信息。常见错误是模型格式不被支持确保你导出的是Hugging Facetransformers库兼容的格式。Ollama下载基础模型慢在创建自定义模型时如果Modelfile的FROM指向的是官方模型名如llama3:8bOllama会尝试从官网拉取。对于国内用户这非常慢。解决方案1) 如前所述优先使用本地合并好的模型路径2) 如果必须在线拉取可以尝试配置Ollama使用国内镜像源通过环境变量OLLAMA_HOST或修改服务配置但需注意镜像源的可靠性和安全性。API响应慢或超时生成式模型推理本身耗时。如果通过API调用确保设置了合理的超时时间。对于长文本生成可以尝试调低num_predict最大生成长度或者使用流式响应stream: true来改善用户体验。多用户并发压力Ollama本身轻量但单个模型实例对GPU显存是独占的。如果并发请求多需要考虑1) 使用更高显存的GPU2) 部署多个Ollama实例并做负载均衡3) 使用支持动态批处理和更高并发的专门推理服务器如vLLM、TGI来替代Ollama但这会引入额外的复杂度。5.3 从实验到生产的考量如果你计划将微调模型用于生产以下几点需要提前规划版本管理对数据集、训练配置yaml文件、模型检查点、Modelfile进行严格的版本控制如Git DVC。评估体系不要只凭感觉判断模型好坏。建立验证集定义清晰的评估指标如准确率、BLEU、ROUGE或业务相关的指标并在训练过程中定期评估。资源监控生产服务需要监控GPU显存、内存、请求延迟、错误率等。可以集成Prometheus和Grafana。回滚方案当新微调的模型效果不如旧版时需要有快速回滚到上一版本模型的能力。我个人更建议在第一次跑通这个完整流程时不要追求完美效果。用一个极小的数据集比如50-100条在LoRA微调下快速走完“训练-导出-Ollama部署-测试”的全过程。这个“最小可行流程”能帮你排除掉90%的环境和配置问题。之后再带着对流程的自信去处理数据质量、参数调优和工程化部署这些更复杂、也更有价值的部分。
1. 先搞清楚这套组合拳到底能解决什么问题如果你在Linux环境下想基于自己的数据对大模型做微调并且希望最终能有一个像Ollama那样简单易用的本地部署和交互方式那么“Llamafactory微调 Ollama格式打包”这条技术路线就值得你花时间研究一下。这本质上是一套从“数据准备”到“模型产出”再到“服务部署”的完整流水线。Llamafactory负责解决微调这个技术门槛最高的环节它提供了WebUI和脚本两种方式让你不用从零写训练代码。而Ollama则负责解决部署和交互的易用性问题它能把模型打包成一个独立的、自带推理引擎的“模型包”通过简单的命令行就能拉取和运行。所以这篇文章的核心价值在于把两个领域的优秀工具串联起来让你能用相对标准化的流程完成从数据到可用服务的闭环。特别适合那些有特定领域数据比如客服对话、技术文档、内部知识想训练一个专属模型但又不想深陷于复杂的模型服务框架部署的运维或开发人员。我建议你先别急着看具体命令而是想清楚你的目标是测试流程还是生产部署这决定了你后续在资源分配、参数选择和流程严谨性上的投入。如果只是学习一台有显卡的Linux机器甚至CPU模式就能跑通如果要用于实际业务那么数据清洗、实验记录、版本管理和性能压测每一步都不能省。2. 环境准备别在第一步就卡住在开始任何微调之前把环境理顺是最高效的投入。很多“跑不起来”的问题根源都在环境上。2.1 硬件与系统基础系统主流Linux发行版均可如Ubuntu 22.04 LTS、CentOS 7/8 Stream、Rocky Linux等。确保系统已更新到最新稳定版。Python这是整个流程的基石。建议使用Python 3.10或3.11。不推荐使用系统自带的Python 2.x或过旧的3.x版本。使用conda或venv创建独立的虚拟环境是绝对的最佳实践能避免依赖冲突。# 创建并激活虚拟环境以conda为例 conda create -n llamafactory python3.10 conda activate llamafactoryCUDA与显卡驱动如果你有NVIDIA显卡并希望使用GPU加速训练和推理这是必须的。通过nvidia-smi命令检查驱动和CUDA版本。Llamafactory通常需要CUDA 11.8或12.1。如果你的驱动版本太旧先去NVIDIA官网下载对应显卡的最新驱动安装。磁盘空间这是最容易忽略的一点。一个7B参数量的模型原始权重文件大约14GB微调过程中会产生多个检查点每个都可能十几GB再加上数据集、日志轻松占用上百GB。确保你的工作目录有充足的剩余空间建议200GB以上。2.2 核心工具安装Llamafactory 和 OllamaLlamafactory安装官方推荐使用pip从源码安装这样可以获取最新特性。网络条件不佳时可以使用国内镜像源加速。# 克隆仓库 git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory # 使用国内镜像加速安装依赖 pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple # 安装Llamafactory自身开发模式便于修改 pip install -e .安装完成后可以通过运行WebUI来验证基础环境是否OKCUDA_VISIBLE_DEVICES0 llamafactory-cli webui --port 7860访问http://你的服务器IP:7860如果能打开界面说明Web服务启动成功。但先别急着训练我们还需要模型权重。Ollama安装Ollama的安装相对简单。官网提供了多种安装方式。对于Linux最直接的是使用一键脚本。如果下载慢可以寻找或配置国内镜像源。# 官方安装脚本 curl -fsSL https://ollama.com/install.sh | sh # 安装后启动Ollama服务 ollama serve # 注意默认服务运行在11434端口。你可以通过ollama list测试是否安装成功。一个重要提醒Ollama主要用于模型的推理部署。微调过程本身是在Llamafactory中完成的。Ollama的作用是接收Llamafactory产出的微调后模型并将其转化为Ollama的模型格式Modelfile进行封装以便用ollama run这样的简单命令来调用。2.3 获取基础模型权重微调不是在白纸上作画而是在一个预训练好的大模型如Llama 3、Qwen、ChatGLM等基础上进行。你需要自行下载这些模型的权重文件通常是从Hugging Face Model Hub。例如下载Meta的Llama 3 8B Instruct模型访问Hugging Face的模型页面如meta-llama/Meta-Llama-3-8B-Instruct并按照要求完成授权申请。使用git-lfs克隆仓库或使用huggingface-hub库的Python接口下载。# 安装huggingface-hub pip install huggingface-hub # 使用命令行工具下载需要先登录huggingface-cli login huggingface-cli download meta-llama/Meta-Llama-3-8B-Instruct --local-dir ./models/Meta-Llama-3-8B-Instruct将下载好的模型权重文件夹路径记下来后续在Llamafactory的配置中需要指定这个路径。网络问题处理下载大模型权重是另一个常见的卡点。如果直接下载速度慢可以考虑使用国内镜像站如魔搭社区ModelScope部分模型有同步。在能高速访问的网络环境先下载好再传输到服务器。使用一些支持断点续传的下载工具。3. 使用Llamafactory进行微调从WebUI到脚本Llamafactory提供了WebUI和脚本两种操作方式。对于初学者或快速实验WebUI非常友好对于需要复现、自动化或集成到CI/CD中的生产流程脚本是更可靠的选择。3.1 WebUI方式快速可视化实验启动WebUI后主要配置集中在以下几个标签页模型信息 (Model): 在这里加载你下载的基础模型。模型名称可以自定义如my-llama3。模型路径填写你下载的模型权重文件夹的绝对路径例如/home/user/models/Meta-Llama-3-8B-Instruct。模板选择与基础模型匹配的对话模板如llama3。这决定了对话的历史记录如何被格式化。Finetuning Type选择微调方法。对于全量参数微调选full对于更高效的LoRA微调选lora。初学者建议从LoRA开始因为它更快显存占用更少。数据 (Data): 准备你的训练数据。数据格式通常支持JSON、JSONL或CSV。Llamafactory期望一个包含instruction指令、input输入、output输出字段的字典列表。示例格式 (dataset.jsonl):{instruction: 将以下中文翻译成英文, input: 今天天气真好。, output: The weather is really nice today.} {instruction: 解释以下术语, input: 机器学习, output: 机器学习是人工智能的一个分支它允许系统从数据中自动学习和改进而无需明确编程。}将数据文件上传后可以点击“预览”检查数据是否被正确解析。如果遇到“训练数据不能预览”99%的原因是数据格式不符合上述规范或者文件编码不是UTF-8。请先用小批量数据验证格式。训练 (Train): 设置关键的超参数。学习率 (Learning Rate): 这是最重要的参数之一。对于全量微调可以从5e-5开始对于LoRA可以从1e-4开始。学习率太大可能导致训练不稳定loss NaN太小则收敛慢。训练轮数 (Epochs): 整个数据集遍历的次数。根据数据量大小3-5个epoch通常是合理的起点。批处理大小 (Batch Size): 一次训练多少样本。这个值受限于你的GPU显存。如果遇到CUDA out of memory错误首先降低这个值。也可以使用“梯度累积步数 (Gradient Accumulation Steps)”来模拟更大的批大小。最大序列长度 (Max Source Length / Max Target Length): 根据你的数据中最长文本的长度来设置设置过大会浪费显存和计算时间。一般512或1024是常见起点。输出目录 (Output Dir): 指定保存微调后模型检查点的路径。开始训练: 配置好后点击“开始训练”。WebUI下方会显示训练日志包括损失值loss的变化。请务必监控loss曲线一个健康的训练过程loss应该稳步下降并逐渐趋于平缓。如果loss剧烈波动或变成NaN通常需要降低学习率。WebUI的局限性WebUI适合探索和简单任务。但对于长时间训练浏览器连接可能中断且任务管理不如脚本灵活。生产环境更推荐使用脚本。3.2 脚本方式可复现与自动化Llamafactory提供了强大的命令行工具llamafactory-cli和对应的配置文件.yaml。这是更专业的方式。准备配置文件: 复制一个示例配置文件如examples/train_sft.yaml并进行修改。# train_custom.yaml model_name_or_path: /home/user/models/Meta-Llama-3-8B-Instruct # 基础模型路径 dataset_dir: /home/user/data # 数据集目录 dataset: my_dataset # 数据集文件名不带后缀 template: llama3 finetuning_type: lora output_dir: ./saves/my_finetuned_model per_device_train_batch_size: 4 gradient_accumulation_steps: 4 learning_rate: 1e-4 num_train_epochs: 3 max_source_length: 512 max_target_length: 512 logging_steps: 10 # 每10步记录一次日志 save_steps: 500 # 每500步保存一个检查点 eval_steps: 500 # 每500步进行一次评估如果有验证集将你的数据集文件如my_dataset.json放在/home/user/data目录下。启动训练:CUDA_VISIBLE_DEVICES0 llamafactory-cli train train_custom.yamlCUDA_VISIBLE_DEVICES0指定使用第一块GPU。如果是多卡可以写成0,1。监控训练:日志控制台输出的日志会显示loss、学习率等信息。更详细的日志会保存在output_dir下的runs文件夹中可以用TensorBoard查看。显存监控使用nvidia-smi -l 1每秒刷新一次观察GPU显存占用和利用率。检查点训练过程中保存的检查点位于output_dir下。如果训练中断可以通过修改配置文件中的resume_from_checkpoint参数指向最新的检查点路径来恢复训练。脚本方式的优势配置即代码易于版本管理可以方便地提交到后台任务队列如nohup或slurm便于进行超参数扫描等自动化实验。4. 微调后模型打包与Ollama部署训练完成后你会在输出目录得到一系列文件包括适配器权重如果是LoRA或整个模型权重。接下来需要将其转化为Ollama能识别的格式。4.1 模型导出与合并对于LoRA等参数高效微调方法训练得到的是一个小型的适配器文件如adapter_model.bin需要与原始的基础模型进行合并才能得到一个完整的、可独立推理的模型。Llamafactory提供了导出脚本# 假设你的训练输出目录是 ./saves/my_finetuned_model CUDA_VISIBLE_DEVICES0 llamafactory-cli export \ --model_name_or_path /home/user/models/Meta-Llama-3-8B-Instruct \ # 基础模型 --adapter_name_or_path ./saves/my_finetuned_model \ # 适配器路径 --template llama3 \ --finetuning_type lora \ --export_dir ./merged_model # 合并后模型输出路径这个命令会生成一个完整的Hugging Face格式模型保存在./merged_model目录下。这个目录结构就是Ollama所需的“模型文件”。4.2 创建Ollama ModelfileOllama通过一个名为Modelfile的配方文件来定义如何构建一个模型。你需要创建一个Modelfile文件内容如下# Modelfile FROM ./merged_model # 指向上一步合并后的模型目录 # 设置模型的参数 PARAMETER temperature 0.7 # 控制生成随机性的温度 PARAMETER top_p 0.9 # 核采样参数 PARAMETER num_predict 512 # 最大生成token数 # 设置系统提示词可以在这里定义模型的角色和行为 SYSTEM 你是一个由[你的组织/你]微调的助手基于Llama 3模型。你擅长处理[你的领域]相关的问题。FROM指令是关键它可以直接指向本地文件系统路径以.或/开头。这样Ollama就会使用你本地合并好的模型而不是去网上下载。4.3 构建并运行Ollama模型在包含Modelfile的目录下执行构建命令ollama create my-custom-model -f ./Modelfile这条命令告诉Ollama“请根据当前目录下的Modelfile创建一个名为my-custom-model的模型。”构建过程可能会花费几分钟Ollama会读取模型文件并进行一些优化。完成后你就可以像使用任何其他Ollama模型一样使用它了# 运行模型进行交互式对话 ollama run my-custom-model # 或者通过API调用 curl http://localhost:11434/api/generate -d { model: my-custom-model, prompt: 请介绍一下你自己。, stream: false }4.4 部署与访问优化至此模型已经在本地运行。但要让其他用户或服务访问还需要考虑部署。作为后台服务确保Ollama服务在后台持续运行。可以通过系统服务systemd来管理。# 创建systemd服务文件如 /etc/systemd/system/ollama.service # 内容示例 # [Unit] # DescriptionOllama Service # Afternetwork-online.target # # [Service] # ExecStart/usr/local/bin/ollama serve # Userollama # 建议创建一个专用用户 # Groupollama # Restarton-failure # RestartSec5s # # [Install] # WantedBymulti-user.target sudo systemctl daemon-reload sudo systemctl enable ollama sudo systemctl start ollama网络访问默认Ollama API监听在127.0.0.1:11434只允许本地访问。如果需要从其他机器访问必须谨慎处理。一种方式是通过反向代理如Nginx将Ollama的API暴露出去并配置严格的认证和防火墙规则。绝对不要直接将Ollama服务绑定到0.0.0.0而不做任何安全措施。与Web应用集成你可以基于Ollama的API/api/generate,/api/chat开发自己的前端界面或者使用现有的开源WebUI如Open WebUI、Ollama WebUI来提供一个更友好的聊天界面。这些WebUI通常通过Docker部署并通过环境变量配置Ollama的API地址http://host.docker.internal:11434或你的服务器内网IP。5. 关键排查点与经验之谈走通整个流程不难但要让流程稳定、可靠需要注意下面这些细节。5.1 微调过程中的常见问题Loss为NaN或训练崩溃这是学习率Learning Rate设置过高的典型表现。第一步永远是调低学习率可以尝试降低一个数量级例如从1e-4降到1e-5。其次检查数据中是否有异常值如极长的文本、乱码。显存不足CUDA Out Of Memory这是硬件限制。解决方案有1) 减小per_device_train_batch_size2) 启用梯度检查点gradient_checkpointing: true用计算时间换显存3) 使用更高效的微调方法如QLoRA4) 降低max_source_length和max_target_length。训练速度慢首先用nvidia-smi确认GPU利用率是否接近100%。如果很低可能是数据加载DataLoader成为瓶颈。可以尝试1) 增加dataloader_num_workers2) 将数据预处理成内存友好的格式如Arrow3) 使用更快的存储如NVMe SSD。模型“遗忘”或“胡说八道”这可能是过拟合。表现为在训练数据上表现很好但在新问题上表现糟糕。解决方法1) 增加训练数据量2) 减少训练轮数num_train_epochs3) 使用更小的学习率4) 在数据中混入一部分通用指令数据帮助模型保持通用能力。5.2 Ollama部署与运行问题ollama create构建失败首先检查Modelfile中FROM的路径是否正确、模型文件是否完整。查看Ollama服务日志journalctl -u ollama -f获取详细错误信息。常见错误是模型格式不被支持确保你导出的是Hugging Facetransformers库兼容的格式。Ollama下载基础模型慢在创建自定义模型时如果Modelfile的FROM指向的是官方模型名如llama3:8bOllama会尝试从官网拉取。对于国内用户这非常慢。解决方案1) 如前所述优先使用本地合并好的模型路径2) 如果必须在线拉取可以尝试配置Ollama使用国内镜像源通过环境变量OLLAMA_HOST或修改服务配置但需注意镜像源的可靠性和安全性。API响应慢或超时生成式模型推理本身耗时。如果通过API调用确保设置了合理的超时时间。对于长文本生成可以尝试调低num_predict最大生成长度或者使用流式响应stream: true来改善用户体验。多用户并发压力Ollama本身轻量但单个模型实例对GPU显存是独占的。如果并发请求多需要考虑1) 使用更高显存的GPU2) 部署多个Ollama实例并做负载均衡3) 使用支持动态批处理和更高并发的专门推理服务器如vLLM、TGI来替代Ollama但这会引入额外的复杂度。5.3 从实验到生产的考量如果你计划将微调模型用于生产以下几点需要提前规划版本管理对数据集、训练配置yaml文件、模型检查点、Modelfile进行严格的版本控制如Git DVC。评估体系不要只凭感觉判断模型好坏。建立验证集定义清晰的评估指标如准确率、BLEU、ROUGE或业务相关的指标并在训练过程中定期评估。资源监控生产服务需要监控GPU显存、内存、请求延迟、错误率等。可以集成Prometheus和Grafana。回滚方案当新微调的模型效果不如旧版时需要有快速回滚到上一版本模型的能力。我个人更建议在第一次跑通这个完整流程时不要追求完美效果。用一个极小的数据集比如50-100条在LoRA微调下快速走完“训练-导出-Ollama部署-测试”的全过程。这个“最小可行流程”能帮你排除掉90%的环境和配置问题。之后再带着对流程的自信去处理数据质量、参数调优和工程化部署这些更复杂、也更有价值的部分。
