Flower 开源模型 Lizzy 7B 技术指南架构、训练方法、评测结果与本地部署实战【免费下载链接】flowerFlower: A Friendly Federated AI Framework项目地址: https://gitcode.com/GitHub_Trending/flo/flowerLizzy 7B 是 Flower Labs 发布的一款开放权重open-weight大语言模型定位为面向通用助手、推理、编码辅助以及英国UK导向语言与知识的模型。本文基于 Flower 仓库中 model/docs/source/lizzy-7b.rst 及其关联文档运行指南、硬件需求、GGUF 说明、训练与评测、故障排查撰写系统梳理该模型的架构配置、多阶段训练流程、评测表现、安全评估并给出从 Transformers、vLLM 到 llama.cpp 的完整部署方案与硬件规划建议。读完本文你将能够根据自身算力与场景在 BF16 全精度权重与 GGUF 量化权重之间做出选择并完成一次可复现的本地推理或 GPU 服务部署。模型概览Lizzy 7B 在 Hugging Face 上提供两种发布格式对应两条不同的使用路径BF16 Safetensors 原始检查点flwrlabs/Lizzy-7B适用于 Transformers、vLLM、SGLang 等 GPU 推理/服务栈支持全精度推理、张量并行与微调。GGUF 量化版本flwrlabs/Lizzy-7B-GGUF面向支持 Lizzy GGUF 架构的本地推理运行时提供 Q4_K_M、Q5_K_M、Q6_K、Q8_0、f16 等量化档位适合 CPU 推理与本地部署。官方文档给出的关键属性速览如下属性值发布方PublisherFlower Labs模型家族Model familyLizzy参数量级Parameter scale7B 级架构ArchitectureDecoder-only transformer仅解码器 Transformer上下文长度Context length最高 65,536 tokens取决于运行时与 serving 配置主要语言Primary language英语含英式英语与英国导向行为增强原始检查点Original checkpointBF16 Safetensors量化检查点Quantized checkpointGGUF 变体包括 Q4_K_M、Q5_K_M、Q6_K、Q8_0、f16许可证License基础模型为 Apache-2.0GGUF 再分发条款回指基础模型许可证架构与配置Lizzy 7B 是一个32 层32-layerdecoder-only transformer具备长上下文支持。官方发布说明指出该版本使用 32 个注意力头、滑动/局部注意力sliding/local attention行为、自定义 chat/control tokens并针对不同部署场景提供 serving 配置。GGUF 发布文件记录了以下面向 serving 的配置项与 lizzy-gguf.rst 中报告的架构细节一致层数32 层post-norm 架构含attn_post_norm与ffn_post_norm张量共 355 个张量隐藏维度hidden size 4096注意力滑窗注意力sliding-window attention窗口 4096 tokens并叠加全注意力full-attention行为RoPE 扩展YaRN RoPE 缩放factor 8.0原始上下文 8192词表100,278 tokens上下文65,536 tokens。从故障排查文档可以确认GGUF 文件把模型架构标记为general.architecture lizzy这是本地运行时能否加载该模型的关键识别点。当运行时如未打补丁的 llama.cpp不认识该架构时会在加载阶段报出unknown model architecture: lizzy错误。多阶段训练方法根据 lizzy-training-and-evaluation.rst 与主文档Lizzy 7B 采用四阶段训练流程预训练Pre-training在大规模公开文本、文档、代码、数学与百科全书类语料上进行预训练监督微调Supervised fine-tuning基于指令跟随、对话、推理与工具使用tool-use示例进行 SFT直接偏好优化Direct preference optimisation使用偏好对提升模型的 helpfulness有用性、风格与回答质量可验证奖励的强化学习Reinforcement learning with verifiable rewards针对目标行为进行精细调优。训练数据的构成包括广泛的公开文本与知识来源指令与偏好数据英国专属示例与偏好信号UK-specific examples and preference signals。需要特别说明的是完整训练数据混合方案并未随公开检查点重新分发上述内容为官方发布的高层描述不依赖非公开实现细节。评测表现官方发布将 Lizzy 7B 与EuroLLM 9B、Apertus 8B在面向英国UK-oriented的基准与更广泛的公开基准上做了对比。英国导向基准BritishnessBenchmarkLizzy 7BEuroLLM 9BApertus 8BBritishness MCQ71.077.680.8Britishness CoT80.172.131.7Britishness Domains89.969.032.6通用推理、数学、知识与编码基准BenchmarkLizzy 7BEuroLLM 9BApertus 8BMATH77.931.322.4MMLU67.957.463.4GPQA34.626.828.1HumanEvalPlus70.228.233.4MBPP52.541.742.3LiveCodeBench v339.16.38.5AIME35.80.20.6GSM8K91.864.764.7官方结论是Lizzy 7B 在 Britishness MCQ回忆式探测上落后于对比组但在Britishness CoT、Britishness 领域推理以及所列的大多数推理、数学、知识与编码基准上领先。这些数值属于官方发布时报告的评测信号读者在引用时应注明其对比口径。安全性与局限性Lizzy 7B 应被视为可能出错的助手模型它可能产生错误、过时或过度自信的回答更高风险的工作流需要人工监督、领域审查与下游内容审核。英国导向的调优改善了本地风格与文化对齐但也可能使语气与假设偏向英国惯例。发布的安全评估摘要task-level如下安全基准指标得分Overall safety averageoverall_safety_average66.7%WildGuardTestinverted_micro_harm_lower91.9%HarmBenchinverted_micro_asr_lower57.5%ToxiGen (tiny)safe_overall90.2%XSTestoverall_accuracy85.6%StrongReject (logprobs)inverted_asr78.8%BBQaccuracy66.5%WMDPinverted_accuracy47.5%官方同时强调这些数字是评估信号而非保证生产部署应包含适当的人工监督、策略检查、监控与下游审核。如何运行 Lizzy 7B选择运行时的首要原则见 how-to-run-lizzy.rstBF16 检查点需要全精度、Transformers/vLLM serving、张量并行或微调时使用GGUF本地运行时支持 Lizzy GGUF 架构且希望文件更小或做本地推理时使用。启动前请先参考 硬件需求 做内存、磁盘与长上下文规划。使用 Transformers 运行Python 集成 / 全精度 / 微调要求 Python 3.10 及以上安装 PyTorch、Transformers 5.x、jinja2与protobuf。Transformers 5.x 包含 Lizzy tokenizer 元数据所需的TokenizersBackendtokenizer 类pip install transformers5,6 torch accelerate jinja2 protobuf以trust_remote_codeTrue加载基础检查点并完成一次 chat 生成import torch from transformers import AutoModelForCausalLM, AutoTokenizer repo_id flwrlabs/Lizzy-7B tokenizer AutoTokenizer.from_pretrained(repo_id, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( repo_id, trust_remote_codeTrue, torch_dtypetorch.bfloat16, device_mapauto, ) messages [ {role: system, content: You are Lizzy 7B.}, {role: user, content: Summarise why queue etiquette matters in the UK.}, ] prompt tokenizer.apply_chat_template( messages, tokenizeFalse, add_generation_promptTrue, ) inputs tokenizer(prompt, return_tensorspt).to(model.device) output_ids model.generate( **inputs, max_new_tokens512, do_sampleFalse, ) response tokenizer.decode( output_ids[0][inputs[input_ids].shape[-1] :], skip_special_tokensTrue, ) print(response)该路径曾在 macOS 上使用 Python 3.13、torch2.12.0、transformers5.9.0与 BF16 检查点完成验证AutoTokenizer、chat-template 渲染与默认缓存生成均返回预期的短回答。若AutoTokenizer报Tokenizer class TokenizersBackend does not exist...说明 Transformers 版本过旧请升级到 5.x。使用 vLLM 提供服务OpenAI 兼容 API / GPU servingvLLM 面向 Linux GPU 服务器等受支持环境提供 OpenAI 兼容 APIpip install vllm vllm serve flwrlabs/Lizzy-7B --trust-remote-code创建request.json{ model: flwrlabs/Lizzy-7B, messages: [ { role: user, content: What is the capital of France? } ] }调用服务器curl -X POST http://localhost:8000/v1/chat/completions \ -H Content-Type: application/json \ --data request.json官方 smoke test 记录vllm0.21.0torch2.11.0cu130在单张 NVIDIA A40 与 H100 上通过H100 上 OpenAI 兼容服务器响应正常进程内生成在max_model_len32768以内通过短测试。张量并行方面tensor_parallel_size22×H100与tensor_parallel_size44×A40的进程内生成在 Lizzy 注意力 reshape 逻辑更新为使用局部张量并行头数后通过但tensor_parallel_size8与「OpenAI 兼容 serving 张量并行」的组合未完成验证生产环境的多卡 serving 需先完整验证。注意vLLM 对 Lizzy 走的是 Transformers modeling 后端吞吐与特性覆盖需按实际部署配置验证。使用 llama.cpp 运行 GGUF本地 / CPU / 灵活 offloadGGUF 发布用于支持 Lizzy GGUF 架构的本地运行时。Hugging Face quick start 使用Q4_K_M变体。当前已验证兼容的 llama.cpp 分支是relogu/llama.cpp的lorenzo-dev分支上游 llama.cpp 或打包运行时需先确认包含general.architecture lizzy支持git clone --branch lorenzo-dev https://github.com/relogu/llama.cpp.git cd llama.cpp cmake -B build -DCMAKE_BUILD_TYPERelease cmake --build build --config Release --target llama-completion llama-server ./build/bin/llama-server \ -hf flwrlabs/Lizzy-7B-GGUF:Q4_K_M \ -c 1024若运行时报告unknown model architecture: lizzy说明其不包含 Lizzy GGUF 支持应改用兼容构建或直接用 Transformers 运行 BF16 检查点。终端直接补全completion./build/bin/llama-completion \ -hf flwrlabs/Lizzy-7B-GGUF:Q4_K_M \ -p Q: 22? A: \ -n 16 \ -c 1024在受限的 macOS、虚拟化或沙箱环境中Metal 设备初始化可能失败强制进行纯 CPU 小规模 smoke test 可使用./build/bin/llama-completion \ -hf flwrlabs/Lizzy-7B-GGUF:Q4_K_M \ -p Q: 22? A: \ -n 16 \ -c 1024 \ -t 2 \ -dev none \ -ngl 0 \ --no-op-offload使用 llama-cpp-python 运行 GGUFPython 集成该路径要求 llama-cpp-python 链接到支持 Lizzy GGUF 架构的 llama.cpp 版本并可能需要支持 Lizzy 内嵌 chat template。若初始化报未知 Jinjageneration标签可先用下面的临时兼容 shim 剥离该标签或改用 llama.cpp server 路径import llama_cpp.llama_chat_format as chat_format from llama_cpp import Llama original_init chat_format.Jinja2ChatFormatter.__init__ def lizzy_chat_template_init( self, template, eos_token, bos_token, add_generation_promptTrue, stop_token_idsNone, ): template template.replace({% generation %}, ) template template.replace({% endgeneration %}, ) return original_init( self, template, eos_token, bos_token, add_generation_prompt, stop_token_ids, ) chat_format.Jinja2ChatFormatter.__init__ lizzy_chat_template_init llm Llama( model_path/path/to/lizzy-7b-q4_k_m.gguf, n_ctx1024, n_gpu_layers-1, ) output llm.create_chat_completion( messages[ {role: system, content: /no_think}, {role: user, content: Reply with exactly: ok}, ], max_tokens16, temperature0, ) print(output[choices][0][message][content])该 shim 曾在源码构建的llama-cpp-python0.3.23链接relogu/llama.cpp提交991a41b上验证create_chat_completion在 Q4_K_M GGUF 上返回了预期响应。注意这属于兼容性 workaround而不是官方保证的端到端支持路径。使用 Ollama / 桌面应用进行中Ollama 支持仍在推进中当前公开构建可能尚未包含 Lizzy GGUF 架构的 backendollama run hf.co/flwrlabs/Lizzy-7B-GGUF:Q4_K_MLM Studio、Jan 等桌面 GGUF 应用同样处于 work in progress 状态。在桌面应用中使用 Lizzy 前先确认应用版本自带的 llama.cpp backend 能识别general.architecture lizzy若应用支持自定义 backend可指向兼容构建并导入flwrlabs/Lizzy-7B-GGUF的量化文件若报unknown model architecture: lizzy请更新 backend 或直接使用 llama.cpp。运行时选型小结运行时适用场景Transformers需要 Python 集成、全精度、自定义模型代码或微调工作流vLLM需要 GPU serving、OpenAI 兼容 API、批处理或张量并行llama.cpp构建支持 Lizzy GGUF需要本地推理、CPU 支持、灵活的 GPU offload 或小部署体积Ollama、LM Studio、Jan进行中仅在确认应用 backend 包含 Lizzy GGUF 支持后使用生成参数建议GGUF 示例使用temperature0.6、top_p0.95。对于需要确定性的文档、编码或抽取类任务建议从更低的温度如0.2开始需要更对话化的输出时再逐步提高温度并评估事实性与风格。硬件需求与 KV Cache 规划模型格式、运行时、上下文长度与批处理共同决定硬件需求。官方文档明确提示下列数字是规划参考生产环境务必在目标运行时与提示长度上实测验证。推荐起点使用场景实际起点说明Transformers BF16短提示24 GB GPU 显存BF16 权重约 14 GB不含运行时开销与 KV cacheTransformers BF16长上下文40 GB 及以上 GPU 显存长提示可额外增加数十 GB KV cachevLLM serving24 GB 及以上 GPU 显存单卡 A40/H100 smoke test 通过2×H100、4×A40 张量并行进程内生成通过serving 需另行验证GGUF Q4_K_M8 GB 统一内存/内存起推荐 16 GB需要支持 Lizzy GGUF 架构的运行时GGUF Q5_K_M 或 Q6_K推荐 16 GB 统一内存/内存在意质量且本地内存充足时使用GGUF Q8_0推荐 24 GB 统一内存/内存近无损量化需要更多内存余量GGUF f16推荐 32 GB 统一内存/内存仅建议内存充足时做本地质量检查磁盘空间请为模型文件、缓存重复与临时下载文件留出空间。GGUF 仓库从 Q4_K_M 的约 4.5 GB 到 f16 文件的约 14.6 GBBF16 Safetensors 检查点需要比 GGUF 量化文件更多的磁盘空间。舒适的本地配置建议保留所选模型体积至少 2 倍的空闲空间以容纳 Hugging Face 缓存、部分下载与运行时元数据。上下文长度与 KV cache长上下文在模型权重装入后仍会显著增加内存占用。Lizzy 使用 32 层、hidden size 4096、32 个注意力头BF16/FP16 KV cache 下batch size 1 时粗略上限约0.5 MB/token上下文长度KV cache 估算4,096 tokens约 2 GB8,192 tokens约 4 GB32,768 tokens约 16 GB65,536 tokens约 32 GB批处理与并发请求会成倍增加 KV cache 用量若运行时使用 KV cache 量化或 paged attention内存占用可能更低但需实测验证。CPU 与内存要点GGUF 本地推理优先选择内存带宽高的现代 CPU。Apple Silicon 机器在运行时支持模型架构且能访问 Metal 设备时可有效利用统一内存在虚拟化、沙箱或受限 macOS 环境中先做 CPU-only smoke test 再启用 GPU offload。已记录的能力验证在 Apple M3 Ultra Mac Studio 上使用兼容 llama.cpp 分支时Q4_K_M GGUF 将全部 33 层 offload 到 Metal短补全与 server 测试通过约 100 tokens/s 为短测试观测值非吞吐保证。GPU servingvLLM 优先选择支持 CUDA 的 Linux 系统Transformers 也可运行在其他加速器后端但需逐环境验证行为与显存余量。H100 smoke test 观测vllm0.21.0、gpu_memory_utilization0.72时Lizzy 在max_model_len最高 32768 下加载成功张量并行方面 2×H100、4×A40 进程内生成通过tensor_parallel_size8因缺少 8 卡资源未测试。GGUF 变体选择lizzy-gguf.rst 列出了各量化档位的报告文件大小与质量保留度变体报告文件大小报告质量保留推荐用途Q4_K_M4.2 GB92%资源受限环境Q5_K_M4.8 GB95%质量与体积的最佳平衡Q6_K5.6 GB97%介于 Q5 与 Q8 之间Q8_07.2 GB99%近无损压缩f1613.6 GB100%最高质量与基准测试选择建议默认从 Q5_K_M 开始质量优先且仍紧凑内存或磁盘紧张时用 Q4_K_M质量敏感基准或资源充裕时用 Q8_0 或 f16。文件大小数值为报告值Hugging Face 文件浏览器可能因舍入与元数据口径显示略有差异。所有 GGUF 文件均在兼容分支relogu/llama.cpp提交991a41b上用 CPU-only 推理、n_ctx512与短提示做过 smoke test。推理行为注意Lizzy 7B 会在最终答案前输出推理 tokensreasoning traces。直接暴露模型输出的应用应依据产品与安全需求决定展示、隐藏或后处理这些推理轨迹。BF16 与 GGUF 的选择边界用 GGUF需要 CPU 推理、灵活的 GPU 层 offload、更小的模型文件、使用支持 Lizzy GGUF 架构的本地运行时、快速本地加载用 BF16 Safetensors需要全精度、使用 Transformers 或 vLLM、需要 GGUF 运行时不具备的 serving 特性、需要微调模型。常见问题与故障排查要点故障排查 汇总了运行 Lizzy 时的典型失败模式unknown model architecture: lizzy运行时不含 Lizzy GGUF 支持。原始 llama.cpp如 9330与 llama-cpp-python 0.3.23 在模型加载阶段失败于此改用relogu/llama.cpp的lorenzo-dev分支可解决。Encountered unknown tag generationllama-cpp-python原生库兼容但 Python wrapper 不支持 GGUF 元数据里的 chat-template 扩展可用上文 shim 剥离{% generation %}/{% endgeneration %}标签。ggml_metal_init: error: failed to create command queuemacOS环境或设备访问问题非模型架构问题用-dev none -ngl 0 --no-op-offload做 CPU-only 冒烟测试。Transformers 版本过旧报Tokenizer class TokenizersBackend does not exist时升级到transformers5,6。旧 Transformers 4.x 栈生成可能因多余token_type_ids或 cache 处理报错如int object has no attribute shape可移除token_type_ids并传use_cacheFalse。vLLM 张量并行 attention reshape 错误如shape [1, 16384, 32, 128] is invalid旧模型快照问题清 Hugging Face 缓存或固定到包含局部张量并行头数处理的modeling_lizzy.py新修订。下载体积大最小 GGUF 也有数 GBBF16 更大受限机器先确认运行时支持后再选 Q4_K_M。curl 无法连接先确认 OpenAI 兼容服务器已监听localhost:8000且请求体中的模型名与 serving 的模型名一致flwrlabs/Lizzy-7B。延伸阅读Lizzy 7B 运行指南Transformers / vLLM / llama.cpp / llama-cpp-python / Ollama 完整命令硬件需求内存、磁盘、KV cache 与长上下文规划Lizzy GGUF 说明量化变体对比与选型Lizzy 训练与评测四阶段训练方法高层总结故障排查各运行时实测失败模式与 workaround企业部署企业级部署与定制工作作为 Flower 仓库中第一个被文档化的模型见 model/docs/source/index.rstLizzy 7B 的发布形式BF16 检查点 GGUF 量化与多运行时部署路径也体现了 Flower Labs 在开源模型交付上「全精度研究 量化落地」并行的思路。部署前请务必结合目标运行时的实际版本、GPU 型号与上下文长度做端到端验证。【免费下载链接】flowerFlower: A Friendly Federated AI Framework项目地址: https://gitcode.com/GitHub_Trending/flo/flower创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
Flower 开源模型 Lizzy 7B 技术指南架构、训练方法、评测结果与本地部署实战【免费下载链接】flowerFlower: A Friendly Federated AI Framework项目地址: https://gitcode.com/GitHub_Trending/flo/flowerLizzy 7B 是 Flower Labs 发布的一款开放权重open-weight大语言模型定位为面向通用助手、推理、编码辅助以及英国UK导向语言与知识的模型。本文基于 Flower 仓库中 model/docs/source/lizzy-7b.rst 及其关联文档运行指南、硬件需求、GGUF 说明、训练与评测、故障排查撰写系统梳理该模型的架构配置、多阶段训练流程、评测表现、安全评估并给出从 Transformers、vLLM 到 llama.cpp 的完整部署方案与硬件规划建议。读完本文你将能够根据自身算力与场景在 BF16 全精度权重与 GGUF 量化权重之间做出选择并完成一次可复现的本地推理或 GPU 服务部署。模型概览Lizzy 7B 在 Hugging Face 上提供两种发布格式对应两条不同的使用路径BF16 Safetensors 原始检查点flwrlabs/Lizzy-7B适用于 Transformers、vLLM、SGLang 等 GPU 推理/服务栈支持全精度推理、张量并行与微调。GGUF 量化版本flwrlabs/Lizzy-7B-GGUF面向支持 Lizzy GGUF 架构的本地推理运行时提供 Q4_K_M、Q5_K_M、Q6_K、Q8_0、f16 等量化档位适合 CPU 推理与本地部署。官方文档给出的关键属性速览如下属性值发布方PublisherFlower Labs模型家族Model familyLizzy参数量级Parameter scale7B 级架构ArchitectureDecoder-only transformer仅解码器 Transformer上下文长度Context length最高 65,536 tokens取决于运行时与 serving 配置主要语言Primary language英语含英式英语与英国导向行为增强原始检查点Original checkpointBF16 Safetensors量化检查点Quantized checkpointGGUF 变体包括 Q4_K_M、Q5_K_M、Q6_K、Q8_0、f16许可证License基础模型为 Apache-2.0GGUF 再分发条款回指基础模型许可证架构与配置Lizzy 7B 是一个32 层32-layerdecoder-only transformer具备长上下文支持。官方发布说明指出该版本使用 32 个注意力头、滑动/局部注意力sliding/local attention行为、自定义 chat/control tokens并针对不同部署场景提供 serving 配置。GGUF 发布文件记录了以下面向 serving 的配置项与 lizzy-gguf.rst 中报告的架构细节一致层数32 层post-norm 架构含attn_post_norm与ffn_post_norm张量共 355 个张量隐藏维度hidden size 4096注意力滑窗注意力sliding-window attention窗口 4096 tokens并叠加全注意力full-attention行为RoPE 扩展YaRN RoPE 缩放factor 8.0原始上下文 8192词表100,278 tokens上下文65,536 tokens。从故障排查文档可以确认GGUF 文件把模型架构标记为general.architecture lizzy这是本地运行时能否加载该模型的关键识别点。当运行时如未打补丁的 llama.cpp不认识该架构时会在加载阶段报出unknown model architecture: lizzy错误。多阶段训练方法根据 lizzy-training-and-evaluation.rst 与主文档Lizzy 7B 采用四阶段训练流程预训练Pre-training在大规模公开文本、文档、代码、数学与百科全书类语料上进行预训练监督微调Supervised fine-tuning基于指令跟随、对话、推理与工具使用tool-use示例进行 SFT直接偏好优化Direct preference optimisation使用偏好对提升模型的 helpfulness有用性、风格与回答质量可验证奖励的强化学习Reinforcement learning with verifiable rewards针对目标行为进行精细调优。训练数据的构成包括广泛的公开文本与知识来源指令与偏好数据英国专属示例与偏好信号UK-specific examples and preference signals。需要特别说明的是完整训练数据混合方案并未随公开检查点重新分发上述内容为官方发布的高层描述不依赖非公开实现细节。评测表现官方发布将 Lizzy 7B 与EuroLLM 9B、Apertus 8B在面向英国UK-oriented的基准与更广泛的公开基准上做了对比。英国导向基准BritishnessBenchmarkLizzy 7BEuroLLM 9BApertus 8BBritishness MCQ71.077.680.8Britishness CoT80.172.131.7Britishness Domains89.969.032.6通用推理、数学、知识与编码基准BenchmarkLizzy 7BEuroLLM 9BApertus 8BMATH77.931.322.4MMLU67.957.463.4GPQA34.626.828.1HumanEvalPlus70.228.233.4MBPP52.541.742.3LiveCodeBench v339.16.38.5AIME35.80.20.6GSM8K91.864.764.7官方结论是Lizzy 7B 在 Britishness MCQ回忆式探测上落后于对比组但在Britishness CoT、Britishness 领域推理以及所列的大多数推理、数学、知识与编码基准上领先。这些数值属于官方发布时报告的评测信号读者在引用时应注明其对比口径。安全性与局限性Lizzy 7B 应被视为可能出错的助手模型它可能产生错误、过时或过度自信的回答更高风险的工作流需要人工监督、领域审查与下游内容审核。英国导向的调优改善了本地风格与文化对齐但也可能使语气与假设偏向英国惯例。发布的安全评估摘要task-level如下安全基准指标得分Overall safety averageoverall_safety_average66.7%WildGuardTestinverted_micro_harm_lower91.9%HarmBenchinverted_micro_asr_lower57.5%ToxiGen (tiny)safe_overall90.2%XSTestoverall_accuracy85.6%StrongReject (logprobs)inverted_asr78.8%BBQaccuracy66.5%WMDPinverted_accuracy47.5%官方同时强调这些数字是评估信号而非保证生产部署应包含适当的人工监督、策略检查、监控与下游审核。如何运行 Lizzy 7B选择运行时的首要原则见 how-to-run-lizzy.rstBF16 检查点需要全精度、Transformers/vLLM serving、张量并行或微调时使用GGUF本地运行时支持 Lizzy GGUF 架构且希望文件更小或做本地推理时使用。启动前请先参考 硬件需求 做内存、磁盘与长上下文规划。使用 Transformers 运行Python 集成 / 全精度 / 微调要求 Python 3.10 及以上安装 PyTorch、Transformers 5.x、jinja2与protobuf。Transformers 5.x 包含 Lizzy tokenizer 元数据所需的TokenizersBackendtokenizer 类pip install transformers5,6 torch accelerate jinja2 protobuf以trust_remote_codeTrue加载基础检查点并完成一次 chat 生成import torch from transformers import AutoModelForCausalLM, AutoTokenizer repo_id flwrlabs/Lizzy-7B tokenizer AutoTokenizer.from_pretrained(repo_id, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( repo_id, trust_remote_codeTrue, torch_dtypetorch.bfloat16, device_mapauto, ) messages [ {role: system, content: You are Lizzy 7B.}, {role: user, content: Summarise why queue etiquette matters in the UK.}, ] prompt tokenizer.apply_chat_template( messages, tokenizeFalse, add_generation_promptTrue, ) inputs tokenizer(prompt, return_tensorspt).to(model.device) output_ids model.generate( **inputs, max_new_tokens512, do_sampleFalse, ) response tokenizer.decode( output_ids[0][inputs[input_ids].shape[-1] :], skip_special_tokensTrue, ) print(response)该路径曾在 macOS 上使用 Python 3.13、torch2.12.0、transformers5.9.0与 BF16 检查点完成验证AutoTokenizer、chat-template 渲染与默认缓存生成均返回预期的短回答。若AutoTokenizer报Tokenizer class TokenizersBackend does not exist...说明 Transformers 版本过旧请升级到 5.x。使用 vLLM 提供服务OpenAI 兼容 API / GPU servingvLLM 面向 Linux GPU 服务器等受支持环境提供 OpenAI 兼容 APIpip install vllm vllm serve flwrlabs/Lizzy-7B --trust-remote-code创建request.json{ model: flwrlabs/Lizzy-7B, messages: [ { role: user, content: What is the capital of France? } ] }调用服务器curl -X POST http://localhost:8000/v1/chat/completions \ -H Content-Type: application/json \ --data request.json官方 smoke test 记录vllm0.21.0torch2.11.0cu130在单张 NVIDIA A40 与 H100 上通过H100 上 OpenAI 兼容服务器响应正常进程内生成在max_model_len32768以内通过短测试。张量并行方面tensor_parallel_size22×H100与tensor_parallel_size44×A40的进程内生成在 Lizzy 注意力 reshape 逻辑更新为使用局部张量并行头数后通过但tensor_parallel_size8与「OpenAI 兼容 serving 张量并行」的组合未完成验证生产环境的多卡 serving 需先完整验证。注意vLLM 对 Lizzy 走的是 Transformers modeling 后端吞吐与特性覆盖需按实际部署配置验证。使用 llama.cpp 运行 GGUF本地 / CPU / 灵活 offloadGGUF 发布用于支持 Lizzy GGUF 架构的本地运行时。Hugging Face quick start 使用Q4_K_M变体。当前已验证兼容的 llama.cpp 分支是relogu/llama.cpp的lorenzo-dev分支上游 llama.cpp 或打包运行时需先确认包含general.architecture lizzy支持git clone --branch lorenzo-dev https://github.com/relogu/llama.cpp.git cd llama.cpp cmake -B build -DCMAKE_BUILD_TYPERelease cmake --build build --config Release --target llama-completion llama-server ./build/bin/llama-server \ -hf flwrlabs/Lizzy-7B-GGUF:Q4_K_M \ -c 1024若运行时报告unknown model architecture: lizzy说明其不包含 Lizzy GGUF 支持应改用兼容构建或直接用 Transformers 运行 BF16 检查点。终端直接补全completion./build/bin/llama-completion \ -hf flwrlabs/Lizzy-7B-GGUF:Q4_K_M \ -p Q: 22? A: \ -n 16 \ -c 1024在受限的 macOS、虚拟化或沙箱环境中Metal 设备初始化可能失败强制进行纯 CPU 小规模 smoke test 可使用./build/bin/llama-completion \ -hf flwrlabs/Lizzy-7B-GGUF:Q4_K_M \ -p Q: 22? A: \ -n 16 \ -c 1024 \ -t 2 \ -dev none \ -ngl 0 \ --no-op-offload使用 llama-cpp-python 运行 GGUFPython 集成该路径要求 llama-cpp-python 链接到支持 Lizzy GGUF 架构的 llama.cpp 版本并可能需要支持 Lizzy 内嵌 chat template。若初始化报未知 Jinjageneration标签可先用下面的临时兼容 shim 剥离该标签或改用 llama.cpp server 路径import llama_cpp.llama_chat_format as chat_format from llama_cpp import Llama original_init chat_format.Jinja2ChatFormatter.__init__ def lizzy_chat_template_init( self, template, eos_token, bos_token, add_generation_promptTrue, stop_token_idsNone, ): template template.replace({% generation %}, ) template template.replace({% endgeneration %}, ) return original_init( self, template, eos_token, bos_token, add_generation_prompt, stop_token_ids, ) chat_format.Jinja2ChatFormatter.__init__ lizzy_chat_template_init llm Llama( model_path/path/to/lizzy-7b-q4_k_m.gguf, n_ctx1024, n_gpu_layers-1, ) output llm.create_chat_completion( messages[ {role: system, content: /no_think}, {role: user, content: Reply with exactly: ok}, ], max_tokens16, temperature0, ) print(output[choices][0][message][content])该 shim 曾在源码构建的llama-cpp-python0.3.23链接relogu/llama.cpp提交991a41b上验证create_chat_completion在 Q4_K_M GGUF 上返回了预期响应。注意这属于兼容性 workaround而不是官方保证的端到端支持路径。使用 Ollama / 桌面应用进行中Ollama 支持仍在推进中当前公开构建可能尚未包含 Lizzy GGUF 架构的 backendollama run hf.co/flwrlabs/Lizzy-7B-GGUF:Q4_K_MLM Studio、Jan 等桌面 GGUF 应用同样处于 work in progress 状态。在桌面应用中使用 Lizzy 前先确认应用版本自带的 llama.cpp backend 能识别general.architecture lizzy若应用支持自定义 backend可指向兼容构建并导入flwrlabs/Lizzy-7B-GGUF的量化文件若报unknown model architecture: lizzy请更新 backend 或直接使用 llama.cpp。运行时选型小结运行时适用场景Transformers需要 Python 集成、全精度、自定义模型代码或微调工作流vLLM需要 GPU serving、OpenAI 兼容 API、批处理或张量并行llama.cpp构建支持 Lizzy GGUF需要本地推理、CPU 支持、灵活的 GPU offload 或小部署体积Ollama、LM Studio、Jan进行中仅在确认应用 backend 包含 Lizzy GGUF 支持后使用生成参数建议GGUF 示例使用temperature0.6、top_p0.95。对于需要确定性的文档、编码或抽取类任务建议从更低的温度如0.2开始需要更对话化的输出时再逐步提高温度并评估事实性与风格。硬件需求与 KV Cache 规划模型格式、运行时、上下文长度与批处理共同决定硬件需求。官方文档明确提示下列数字是规划参考生产环境务必在目标运行时与提示长度上实测验证。推荐起点使用场景实际起点说明Transformers BF16短提示24 GB GPU 显存BF16 权重约 14 GB不含运行时开销与 KV cacheTransformers BF16长上下文40 GB 及以上 GPU 显存长提示可额外增加数十 GB KV cachevLLM serving24 GB 及以上 GPU 显存单卡 A40/H100 smoke test 通过2×H100、4×A40 张量并行进程内生成通过serving 需另行验证GGUF Q4_K_M8 GB 统一内存/内存起推荐 16 GB需要支持 Lizzy GGUF 架构的运行时GGUF Q5_K_M 或 Q6_K推荐 16 GB 统一内存/内存在意质量且本地内存充足时使用GGUF Q8_0推荐 24 GB 统一内存/内存近无损量化需要更多内存余量GGUF f16推荐 32 GB 统一内存/内存仅建议内存充足时做本地质量检查磁盘空间请为模型文件、缓存重复与临时下载文件留出空间。GGUF 仓库从 Q4_K_M 的约 4.5 GB 到 f16 文件的约 14.6 GBBF16 Safetensors 检查点需要比 GGUF 量化文件更多的磁盘空间。舒适的本地配置建议保留所选模型体积至少 2 倍的空闲空间以容纳 Hugging Face 缓存、部分下载与运行时元数据。上下文长度与 KV cache长上下文在模型权重装入后仍会显著增加内存占用。Lizzy 使用 32 层、hidden size 4096、32 个注意力头BF16/FP16 KV cache 下batch size 1 时粗略上限约0.5 MB/token上下文长度KV cache 估算4,096 tokens约 2 GB8,192 tokens约 4 GB32,768 tokens约 16 GB65,536 tokens约 32 GB批处理与并发请求会成倍增加 KV cache 用量若运行时使用 KV cache 量化或 paged attention内存占用可能更低但需实测验证。CPU 与内存要点GGUF 本地推理优先选择内存带宽高的现代 CPU。Apple Silicon 机器在运行时支持模型架构且能访问 Metal 设备时可有效利用统一内存在虚拟化、沙箱或受限 macOS 环境中先做 CPU-only smoke test 再启用 GPU offload。已记录的能力验证在 Apple M3 Ultra Mac Studio 上使用兼容 llama.cpp 分支时Q4_K_M GGUF 将全部 33 层 offload 到 Metal短补全与 server 测试通过约 100 tokens/s 为短测试观测值非吞吐保证。GPU servingvLLM 优先选择支持 CUDA 的 Linux 系统Transformers 也可运行在其他加速器后端但需逐环境验证行为与显存余量。H100 smoke test 观测vllm0.21.0、gpu_memory_utilization0.72时Lizzy 在max_model_len最高 32768 下加载成功张量并行方面 2×H100、4×A40 进程内生成通过tensor_parallel_size8因缺少 8 卡资源未测试。GGUF 变体选择lizzy-gguf.rst 列出了各量化档位的报告文件大小与质量保留度变体报告文件大小报告质量保留推荐用途Q4_K_M4.2 GB92%资源受限环境Q5_K_M4.8 GB95%质量与体积的最佳平衡Q6_K5.6 GB97%介于 Q5 与 Q8 之间Q8_07.2 GB99%近无损压缩f1613.6 GB100%最高质量与基准测试选择建议默认从 Q5_K_M 开始质量优先且仍紧凑内存或磁盘紧张时用 Q4_K_M质量敏感基准或资源充裕时用 Q8_0 或 f16。文件大小数值为报告值Hugging Face 文件浏览器可能因舍入与元数据口径显示略有差异。所有 GGUF 文件均在兼容分支relogu/llama.cpp提交991a41b上用 CPU-only 推理、n_ctx512与短提示做过 smoke test。推理行为注意Lizzy 7B 会在最终答案前输出推理 tokensreasoning traces。直接暴露模型输出的应用应依据产品与安全需求决定展示、隐藏或后处理这些推理轨迹。BF16 与 GGUF 的选择边界用 GGUF需要 CPU 推理、灵活的 GPU 层 offload、更小的模型文件、使用支持 Lizzy GGUF 架构的本地运行时、快速本地加载用 BF16 Safetensors需要全精度、使用 Transformers 或 vLLM、需要 GGUF 运行时不具备的 serving 特性、需要微调模型。常见问题与故障排查要点故障排查 汇总了运行 Lizzy 时的典型失败模式unknown model architecture: lizzy运行时不含 Lizzy GGUF 支持。原始 llama.cpp如 9330与 llama-cpp-python 0.3.23 在模型加载阶段失败于此改用relogu/llama.cpp的lorenzo-dev分支可解决。Encountered unknown tag generationllama-cpp-python原生库兼容但 Python wrapper 不支持 GGUF 元数据里的 chat-template 扩展可用上文 shim 剥离{% generation %}/{% endgeneration %}标签。ggml_metal_init: error: failed to create command queuemacOS环境或设备访问问题非模型架构问题用-dev none -ngl 0 --no-op-offload做 CPU-only 冒烟测试。Transformers 版本过旧报Tokenizer class TokenizersBackend does not exist时升级到transformers5,6。旧 Transformers 4.x 栈生成可能因多余token_type_ids或 cache 处理报错如int object has no attribute shape可移除token_type_ids并传use_cacheFalse。vLLM 张量并行 attention reshape 错误如shape [1, 16384, 32, 128] is invalid旧模型快照问题清 Hugging Face 缓存或固定到包含局部张量并行头数处理的modeling_lizzy.py新修订。下载体积大最小 GGUF 也有数 GBBF16 更大受限机器先确认运行时支持后再选 Q4_K_M。curl 无法连接先确认 OpenAI 兼容服务器已监听localhost:8000且请求体中的模型名与 serving 的模型名一致flwrlabs/Lizzy-7B。延伸阅读Lizzy 7B 运行指南Transformers / vLLM / llama.cpp / llama-cpp-python / Ollama 完整命令硬件需求内存、磁盘、KV cache 与长上下文规划Lizzy GGUF 说明量化变体对比与选型Lizzy 训练与评测四阶段训练方法高层总结故障排查各运行时实测失败模式与 workaround企业部署企业级部署与定制工作作为 Flower 仓库中第一个被文档化的模型见 model/docs/source/index.rstLizzy 7B 的发布形式BF16 检查点 GGUF 量化与多运行时部署路径也体现了 Flower Labs 在开源模型交付上「全精度研究 量化落地」并行的思路。部署前请务必结合目标运行时的实际版本、GPU 型号与上下文长度做端到端验证。【免费下载链接】flowerFlower: A Friendly Federated AI Framework项目地址: https://gitcode.com/GitHub_Trending/flo/flower创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
