从零开始跑通中文大语言模型模型选型到本地部署完整指南【免费下载链接】Awesome-Chinese-LLM整理开源的中文大语言模型以规模较小、可私有化部署、训练成本较低的模型为主包括底座模型垂直领域微调及应用数据集与教程等。项目地址: https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM本文以开源项目Awesome-Chinese-LLM为例带你从零了解如何使用中文大语言模型该项目系统整理了 100 个中文 LLM 底座模型、医疗/法律/金融等垂直领域微调、数据集、训练与推理框架及教程下面用一条看清单 → 选底座 → 找垂域 → 落地部署的路径讲清楚新手该如何快速上手、跑通本地私有化部署。上手前先理清预期小模型能干什么、不能干什么新手最常纠结的 3 个问题第一次接触大模型的人脑子里通常转着这三件事要不要显卡不用。项目收录的模型以规模较小、可私有化部署、训练成本低为主7B 及以下参数量的模型用消费级显卡、甚至核显量化后就能跑。能不能商用看许可证。README 里有一张常见底座模型细节概览表每个底座都标注了是否可商用如 ChatGLM、Qwen、Baichuan 均标注可商用选型前先查这一列。会不会被通用大模型吊打会在知识面和创造力上小模型确实弱一些但在中文对话流畅度、私有化部署、数据不出内网、按需微调这几件事上小模型是更务实的选择。三种典型使用场景场景你的需求建议路线日常对话/写作助手开箱即用中文要顺直接选 Chat 版本底座不微调行业问答法律、医疗、金融回答专业、可溯源底座 项目里的垂直领域微调模型私有化部署数据不出公司内网小参数 4bit 量化 推理框架 一句话原则先用通用底座试水确认需求稳定后再考虑垂直微调。没有干净的行业数据就急着微调是最常见的弯路。5 分钟快速上手拿到第一份中文大模型资源清单第 1 步克隆仓库获得完整资源目录整个上手过程只需要一条命令git clone https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM克隆下来后仓库的 README.md 就是总目录按 8 大类组织模型、应用垂直领域微调、数据集、训练微调框架、推理部署框架、评测、教程、相关仓库。第 2 步按目录定位你的场景README 的目录结构本身就是一张找资源地图想用现成模型→ 看1. 模型文本 LLM / 多模态 LLM想做行业应用→ 看2.1 垂直领域微调下设医疗、法律、金融、教育、科技、电商、网络安全、农业 8 个领域想自己微调→ 看3. 数据集和4. LLM训练微调框架想部署上线→ 看5. LLM推理部署框架每个条目都带地址、star 数和中文简介不用逐个点进仓库看英文文档。第 3 步锁定模型前核对 3 个字段对任意一个模型下决定前花 1 分钟核对✅许可证是否允许商用、是否需要登记✅参数量和你的硬件匹配吗后文有速查表✅上下文长度2K、8K、32K 甚至 200K直接决定能处理多长的文档中文大语言模型底座怎么选2 个问题 1 张地图问题一参数大小和你的硬件匹配吗从项目 README 的底座概览表提炼一张新手速查表按参数从低到高底座家族代表性规格一句话点评MiniCPM2B 级端侧模型笔记本、手机上也能试ChatGLM 系列6B / 9B部署门槛低原生支持工具调用Baichuan 系列7B / 13B中英双语同尺寸中文能力口碑好Qwen 系列7B ~ 72B 多档档位全从单卡到多卡都能覆盖InternLM 系列7B / 20B主打长上下文适合长文档一个简单的估算口径全精度推理显存约 ≥ 参数量GB× 2比如 7B 模型大概需要 16GB 起步用 4bit 量化可压到参数量 1 倍左右7B ≈ 8GB一张主流消费级显卡就够用。问题二需要长上下文吗只聊对话、写短文案2K~8K 足够要读合同、论文、年报优先看 32K 及以上的底座如 Qwen 长文本版本、InternLM 的 200K 长上下文极端长文档场景项目里也收录了支持百万级 token 的模型但硬件要求会指数级上升新手慎选一分钟看懂底座和微调模型是怎么关联的下面这张资源分类图展示了项目收录脉络左侧是 BLOOM、CPM-Bee、ChatGLM、LLaMA 等底座右侧挂着的 DoctorGLM、LexiLaw、MedicalGPT 等都是基于对应底座做的行业微调——看懂这张图你就知道垂直模型和底座是父子关系图项目收录的中文 LLM 底座ChatGLM、LLaMA、BLOOM 等及其上挂载的医疗、法律等垂直微调模型需要垂直能力时医疗、法律、金融微调模型去哪找直接进垂直目录8 个领域各有清单项目的垂直资源集中在 README.md 的2.1 垂直领域微调一节另有更细的领域清单可以直接翻医疗doc/Medical.mdDoctorGLM、HuatuoGPT、BianQue 等 20 项目法律doc/Legal.md獬豸 LawGPT、LaWGPT、LexiLaw 等金融doc/Financial.mdBBT-Fin、聚宝盆、轩辕等全部文本 LLM 条目总览doc/LLM.md每个条目都写清了基座模型、训练数据来源、算力配置方便你判断它是怎么炼成的也方便复现。案例一家 200 人规模地区律所的内部检索助手以下为一个典型落地场景的示例复盘数据为演示用途某地区律所在搭建内部法律咨询助手前律师平均每个案件要手动检索判例和法条40 分钟年轻律师对内部知识库的使用率只有31%。团队从上面的法律目录中选定一个基于开源底座微调的法律模型参考 LexiLaw 的 LoRA 微调路线用所内脱敏后的问答语料做了轻量适配指标上线前上线后变化单案平均检索时间40 分钟约 11 分钟下降约 72%内部助手周活跃使用率31%76%45 个百分点新律师首月上手周期3 周约 10 天缩短近一半图法律领域中文 LLM 微调模型与数据资源分布獬豸、LaWGPT、LexiLaw 等⚠️ 避坑提示垂直模型不能替代人工审核。上面的收益来自检索提效而非AI 直接出法律意见——把模型定位在助手而非决策者落地阻力会小很多。新手 FAQ没显卡、能商用吗、显存怎么估FAQ 1没有独立显卡能跑吗可以商用吗能跑选 2B~7B 规格 4bit 量化MiniCPM 这类端侧模型就是为笔记本甚至手机设计的纯 CPU 也能跑小模型只是速度偏慢适合学习。能不能商用以模型仓库的 LICENSE 和 README 概览表的是否可商用列为准部分模型需要填写问卷登记后免费商用——这一步别忘了。FAQ 2怎么测试一个模型适不适合我别只看排行榜。推荐一个低成本做法从你的真实业务里挑50 个高频问题在 2~3 个候选模型上各跑一遍不告诉同事哪个答案来自哪个模型按准确、完整、可用三档打分半天时间比任何公开榜单都贴合你的场景。FAQ 3显存到底怎么估教程去哪找估算全精度 ≈ 参数量 × 2 GB4bit 量化 ≈ 参数量 × 1 GB再加少量开销。7B 量化后一张 8GB 显卡是常见配置。教程README 第 7 节按基础知识 → 提示工程 → 应用开发 → 实战四层整理了 LLM 教程doc/LLM.md 则给了全部模型的索引视图图更细粒度的中文 LLM 底座系列Qwen、Baichuan、InternLM 等与衍生模型关系写在最后接下来做这 3 件事读完就可以动手的 30 分钟计划10 分钟克隆仓库通读 README.md 目录圈出和你场景最接近的 1 个领域10 分钟在底座速查表里锁定 1 个和你硬件匹配的模型确认许可证10 分钟按 README 第 7 节挑一篇入门教程先把模型在本地跑起来先跑通再谈微调——这是所有中文大语言模型落地项目里成本最低也最容易被跳过的一步。【免费下载链接】Awesome-Chinese-LLM整理开源的中文大语言模型以规模较小、可私有化部署、训练成本较低的模型为主包括底座模型垂直领域微调及应用数据集与教程等。项目地址: https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
从零开始跑通中文大语言模型模型选型到本地部署完整指南【免费下载链接】Awesome-Chinese-LLM整理开源的中文大语言模型以规模较小、可私有化部署、训练成本较低的模型为主包括底座模型垂直领域微调及应用数据集与教程等。项目地址: https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM本文以开源项目Awesome-Chinese-LLM为例带你从零了解如何使用中文大语言模型该项目系统整理了 100 个中文 LLM 底座模型、医疗/法律/金融等垂直领域微调、数据集、训练与推理框架及教程下面用一条看清单 → 选底座 → 找垂域 → 落地部署的路径讲清楚新手该如何快速上手、跑通本地私有化部署。上手前先理清预期小模型能干什么、不能干什么新手最常纠结的 3 个问题第一次接触大模型的人脑子里通常转着这三件事要不要显卡不用。项目收录的模型以规模较小、可私有化部署、训练成本低为主7B 及以下参数量的模型用消费级显卡、甚至核显量化后就能跑。能不能商用看许可证。README 里有一张常见底座模型细节概览表每个底座都标注了是否可商用如 ChatGLM、Qwen、Baichuan 均标注可商用选型前先查这一列。会不会被通用大模型吊打会在知识面和创造力上小模型确实弱一些但在中文对话流畅度、私有化部署、数据不出内网、按需微调这几件事上小模型是更务实的选择。三种典型使用场景场景你的需求建议路线日常对话/写作助手开箱即用中文要顺直接选 Chat 版本底座不微调行业问答法律、医疗、金融回答专业、可溯源底座 项目里的垂直领域微调模型私有化部署数据不出公司内网小参数 4bit 量化 推理框架 一句话原则先用通用底座试水确认需求稳定后再考虑垂直微调。没有干净的行业数据就急着微调是最常见的弯路。5 分钟快速上手拿到第一份中文大模型资源清单第 1 步克隆仓库获得完整资源目录整个上手过程只需要一条命令git clone https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM克隆下来后仓库的 README.md 就是总目录按 8 大类组织模型、应用垂直领域微调、数据集、训练微调框架、推理部署框架、评测、教程、相关仓库。第 2 步按目录定位你的场景README 的目录结构本身就是一张找资源地图想用现成模型→ 看1. 模型文本 LLM / 多模态 LLM想做行业应用→ 看2.1 垂直领域微调下设医疗、法律、金融、教育、科技、电商、网络安全、农业 8 个领域想自己微调→ 看3. 数据集和4. LLM训练微调框架想部署上线→ 看5. LLM推理部署框架每个条目都带地址、star 数和中文简介不用逐个点进仓库看英文文档。第 3 步锁定模型前核对 3 个字段对任意一个模型下决定前花 1 分钟核对✅许可证是否允许商用、是否需要登记✅参数量和你的硬件匹配吗后文有速查表✅上下文长度2K、8K、32K 甚至 200K直接决定能处理多长的文档中文大语言模型底座怎么选2 个问题 1 张地图问题一参数大小和你的硬件匹配吗从项目 README 的底座概览表提炼一张新手速查表按参数从低到高底座家族代表性规格一句话点评MiniCPM2B 级端侧模型笔记本、手机上也能试ChatGLM 系列6B / 9B部署门槛低原生支持工具调用Baichuan 系列7B / 13B中英双语同尺寸中文能力口碑好Qwen 系列7B ~ 72B 多档档位全从单卡到多卡都能覆盖InternLM 系列7B / 20B主打长上下文适合长文档一个简单的估算口径全精度推理显存约 ≥ 参数量GB× 2比如 7B 模型大概需要 16GB 起步用 4bit 量化可压到参数量 1 倍左右7B ≈ 8GB一张主流消费级显卡就够用。问题二需要长上下文吗只聊对话、写短文案2K~8K 足够要读合同、论文、年报优先看 32K 及以上的底座如 Qwen 长文本版本、InternLM 的 200K 长上下文极端长文档场景项目里也收录了支持百万级 token 的模型但硬件要求会指数级上升新手慎选一分钟看懂底座和微调模型是怎么关联的下面这张资源分类图展示了项目收录脉络左侧是 BLOOM、CPM-Bee、ChatGLM、LLaMA 等底座右侧挂着的 DoctorGLM、LexiLaw、MedicalGPT 等都是基于对应底座做的行业微调——看懂这张图你就知道垂直模型和底座是父子关系图项目收录的中文 LLM 底座ChatGLM、LLaMA、BLOOM 等及其上挂载的医疗、法律等垂直微调模型需要垂直能力时医疗、法律、金融微调模型去哪找直接进垂直目录8 个领域各有清单项目的垂直资源集中在 README.md 的2.1 垂直领域微调一节另有更细的领域清单可以直接翻医疗doc/Medical.mdDoctorGLM、HuatuoGPT、BianQue 等 20 项目法律doc/Legal.md獬豸 LawGPT、LaWGPT、LexiLaw 等金融doc/Financial.mdBBT-Fin、聚宝盆、轩辕等全部文本 LLM 条目总览doc/LLM.md每个条目都写清了基座模型、训练数据来源、算力配置方便你判断它是怎么炼成的也方便复现。案例一家 200 人规模地区律所的内部检索助手以下为一个典型落地场景的示例复盘数据为演示用途某地区律所在搭建内部法律咨询助手前律师平均每个案件要手动检索判例和法条40 分钟年轻律师对内部知识库的使用率只有31%。团队从上面的法律目录中选定一个基于开源底座微调的法律模型参考 LexiLaw 的 LoRA 微调路线用所内脱敏后的问答语料做了轻量适配指标上线前上线后变化单案平均检索时间40 分钟约 11 分钟下降约 72%内部助手周活跃使用率31%76%45 个百分点新律师首月上手周期3 周约 10 天缩短近一半图法律领域中文 LLM 微调模型与数据资源分布獬豸、LaWGPT、LexiLaw 等⚠️ 避坑提示垂直模型不能替代人工审核。上面的收益来自检索提效而非AI 直接出法律意见——把模型定位在助手而非决策者落地阻力会小很多。新手 FAQ没显卡、能商用吗、显存怎么估FAQ 1没有独立显卡能跑吗可以商用吗能跑选 2B~7B 规格 4bit 量化MiniCPM 这类端侧模型就是为笔记本甚至手机设计的纯 CPU 也能跑小模型只是速度偏慢适合学习。能不能商用以模型仓库的 LICENSE 和 README 概览表的是否可商用列为准部分模型需要填写问卷登记后免费商用——这一步别忘了。FAQ 2怎么测试一个模型适不适合我别只看排行榜。推荐一个低成本做法从你的真实业务里挑50 个高频问题在 2~3 个候选模型上各跑一遍不告诉同事哪个答案来自哪个模型按准确、完整、可用三档打分半天时间比任何公开榜单都贴合你的场景。FAQ 3显存到底怎么估教程去哪找估算全精度 ≈ 参数量 × 2 GB4bit 量化 ≈ 参数量 × 1 GB再加少量开销。7B 量化后一张 8GB 显卡是常见配置。教程README 第 7 节按基础知识 → 提示工程 → 应用开发 → 实战四层整理了 LLM 教程doc/LLM.md 则给了全部模型的索引视图图更细粒度的中文 LLM 底座系列Qwen、Baichuan、InternLM 等与衍生模型关系写在最后接下来做这 3 件事读完就可以动手的 30 分钟计划10 分钟克隆仓库通读 README.md 目录圈出和你场景最接近的 1 个领域10 分钟在底座速查表里锁定 1 个和你硬件匹配的模型确认许可证10 分钟按 README 第 7 节挑一篇入门教程先把模型在本地跑起来先跑通再谈微调——这是所有中文大语言模型落地项目里成本最低也最容易被跳过的一步。【免费下载链接】Awesome-Chinese-LLM整理开源的中文大语言模型以规模较小、可私有化部署、训练成本较低的模型为主包括底座模型垂直领域微调及应用数据集与教程等。项目地址: https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
