如何快速选型与部署？Awesome-Chinese-LLM 中文大语言模型开源资源完整指南

如何快速选型与部署Awesome-Chinese-LLM 中文大语言模型开源资源完整指南【免费下载链接】Awesome-Chinese-LLM整理开源的中文大语言模型以规模较小、可私有化部署、训练成本较低的模型为主包括底座模型垂直领域微调及应用数据集与教程等。项目地址: https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM需要中文大语言模型LLM即能理解并生成中文的大规模语言模型落地项目却不知道哪些开源模型能跑、哪些能商用、从哪找训练数据Awesome-Chinese-LLM 把这类工作汇总到了一处项目以规模较小、可私有化部署、训练成本较低为收录标准整理了 100 多项中文 LLM 相关资源涵盖底座模型、多模态模型、垂直领域微调应用、数据集、微调/部署框架、评测基准与中文教程并附每个模型的参数规模、上下文长度与商用许可信息。拿到项目后先看哪里项目是资源清单 选型线索的组合README 正文按八大板块组织全部资源doc/ 目录则按底座 → 衍生应用的谱系整理了各领域的模型关系。克隆仓库后即可按需求直达对应章节找底座模型README「模型」章节分文本 LLM 与多模态 LLM 两组找行业落地参考「应用」章节按医疗、法律、金融等 8 个领域分组找训练/微调数据「数据集」章节分预训练、SFT有监督微调、偏好三类找部署与评测方案「推理部署框架」「LLM评测」章节git clone https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM上图是项目整理的中文大语言模型分类图谱中心节点即本项目两侧分别展开各底座系列BLOOM、Baichuan、Qwen、CPM-Bee、LLaMA、ChatGLM 等及其衍生应用扫一眼就能看清哪个底座上长出了哪些垂直模型。底座模型选型速查先定规模再看许可README 开头有一张常见底座概览表列了参数规模、训练 token 数、最大上下文与是否可商用。新手选模型建议按下面 5 个要点逐项过滤而不是单纯看跑分先按显存定规模。6B~7B 级别单卡即可跑量化后 8GB 显存足够13B 适合多卡或量化部署30B 以上需要更强算力。端侧设备优先看 MiniCPM-2B、YuLan-Mini 2.4B 这类小模型。商用项目必须核对许可。ChatGLM、Qwen、Baichuan、InternLM、DeepSeek、Yi、Aquila 等均标注可商用LLaMA 系列为部分可商用商用前请逐条核对协议。按上下文长度匹配场景。长文档处理看 XVERSE-13B-256K约 25 万字输入、Yi 的 200K 窗口版本常规对话场景 8K~32K 即可比如 ChatGLM2-6B 的 32K 上下文。看生态成熟度。以 LLM.md 的谱系图对照ChatGLM 与 LLaMA 两个底座下的微调应用最丰富遇到问题更容易找到参考实现。多模态需求单独选。图文理解看 MiniCPM-V、Qwen-VL、CogVLM、InternVL语音对话可看 LLaSM。垂直领域微调应用落地清单如果你的目标是行业场景而不是通用对话项目的「垂直领域微调」章节按领域列出了现成模型可直接作为起点或对标对象法律方向獬豸(LawGPT_zh)ChatGLM-6B 底座约 20 万条真实律师问答数据训练上海交通大学LaWGPTChinese-Alpaca-Plus-7B 底座聚合裁判文书、法考等官方与开源法律数据南京大学LexiLawChatGLM-6B 底座融合 5 万份法律文书与多源问答清华大学Lawyer LLaMA基于法考数据微调北京大学ChatLaw13B/33B 两档附 93 万判决案例的法条相似度匹配模型另有韩非(HanFei)、夫子·明察、DISC-LawLLM 等完整训练数据与算力记录见 Legal.md医疗方向DoctorGLMChatGLM-6B 底座多科室医疗对话数据、Huatuo-Llama医学指令精调、XrayGLM首个能读胸部 X 光片的中文多模态医学模型、MeChat/MindChat心理健康支持、Taiyi-LLM中英双语生物医学等数据与算力细节见 Medical.md。金融方向聚宝盆(Cornucopia中文金融指令精调)、轩辕 XuanYuan 2.0BLOOM-176B 底座的千亿级中文金融对话模型、FinGPT金融新闻与舆情、DISC-FinLLM、Tongyi-Finance金融知识问答与信息抽取等详见 Financial.md。其余方向速览教育方向有桃李(Taoli国际中文教育 8.8 万条问答)、EduChat出题、批改、课程辅导科技方向有 StarGLM天文、TransGPT·致远交通、Mozi科技论文电商方向有 EcomGPT网络安全方向有 SecGPT农业方向有后稷(AgriMa)与多模态的稷丰(AgriAgent)。每个条目都在 README 中给出仓库地址与一句话简介可直接跳转查看。中文大模型私有化部署与训练微调实操部署框架按场景选框架适合场景关键特性vLLM高并发线上服务大批量 Prompt 输入吞吐量比 HuggingFace Transformers 高 14~24 倍LMDeploy追求更高推理性能4bit 量化下性能达 FP16 的 2.4 倍以上支持对话状态缓存AirLLM显存紧张分层推理4GB 单卡可跑 70B 模型推理MNN / MLC LLM手机、PC 等端侧设备CPU/GPU 加速支持加载多个 LoRALightLLM自建高性能服务细粒度 KV Cache 管理部分场景吞吐较 vLLM 再提升训练微调工具箱DeepSpeed Chat一条脚本串起 SFT、奖励模型、RLHF 全流程LLaMA Efficient Tuning / ChatGLM Efficient Tuning全参数、LoRA、QLoRA 等多种微调模式LMFlow单张 3090、约 5 小时即可完成 7B 模型个性化微调Robin 即由此产出各垂直模型的训练硬件可参照 Legal.md、Medical.md、Financial.md 中记录的算力配置估算预算例如獬豸用了 4 张 3090、LexiLaw 用了 7 张 A100 40GB6B~13B 级别的 LoRA 微调通常单卡即可起步。自建模型效果怎么测中文评测基准推荐调完参不要只看对话感觉对不对项目「LLM评测」章节收录了可直接复用的基准C-Eval13948 道中文知识题覆盖 52 个学科测知识与推理CMMLU面向中文语境与本土常识的综合基准OpenCompass一站式评测平台约 30 万题、支持分布式批量评测SuperCLUE 琅琊榜匿名对战 Elo 排名的众包评测HalluQA450 个对抗性样本专测中文幻觉模型一本正经地编造事实自建垂直模型时建议通用基准 自建小评测集如法律法考题、医疗科室问答组合打分再对照基准上的开源模型结果判断提升幅度。新手学习路径从跑通一个模型到微调一个模型项目的「LLM教程」章节按入门 → 提示 → 应用 → 实战排好了递进顺序建议按此顺序走先跑通HuggingLLM 讲清 ChatGPT 原理与用法LLMsPracticalGuide 提供原理与论文索引目标是先把 6B 级别模型在本地跑起来再会问datawhale 的《面向开发者的 LLM 入门课程》与 awesome-chatgpt-prompts-zh 提升提示词质量LangChain 中文网补齐应用开发知识后动手llm-action 覆盖训练、推理、微调的完整代码实践书生·浦语实战营提供微调、部署、评测全链路课程使用开源中文 LLM 前必看的 4 个风险点商用许可要逐一确认。可商用标注以 README 概览表为准LLaMA 系列仅部分可商用交付前务必核对具体协议。垂直模型输出只能当参考。法律、医疗、金融模型基于领域数据微调仍可能出错或产生幻觉关键决策必须由专业人员复核。数据有时效性。法律法规、金融资讯会更新接入业务前用最新数据做一轮回归测试。资源以小而可部署为主。项目刻意收录小参数、低成本模型若需要顶级能力可结合 API 类模型但需自行评估数据合规。项目文件快速导航README.md全部 100 资源的总索引doc/Legal.md / doc/Medical.md / doc/Financial.md法律、医疗、金融模型的训练数据与算力明细doc/LLM.md底座与衍生应用的谱系关系发现项目未收录的新模型、数据集可按项目格式发起 PR 贡献从选型到部署再到评测这条路径上的每一步都能在 Awesome-Chinese-LLM 里找到对应资料按章节顺序过一遍基本就能搭起自己的中文大模型应用方案。【免费下载链接】Awesome-Chinese-LLM整理开源的中文大语言模型以规模较小、可私有化部署、训练成本较低的模型为主包括底座模型垂直领域微调及应用数据集与教程等。项目地址: https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考