【免费下载链接】Amis️ A local-first desktop workspace for private agents, local models, runtime visibility, and local/cloud routing.项目地址https://gitcode.com/gh_mirrors/amis/Amis点击查看免费下载想让 35B 级别的大模型在普通电脑上跑起来最大的拦路虎是内存。Amis-LocalAI 通过 AI Storage Expansion 技术把 35B 级 MoE 模型的内存占用从 21.8 GB 压到 10.8 GB同时预填充速度还快了 61%。本文面向新手讲清楚这个技术解决了什么问题、由哪四层构成以及实测数据怎么读。为什么本地大模型总是内存不够用问题出在两条曲线背道而驰模型越来越大一个 235B-A22B 的 MoE 模型Q4 量化后也需要约 140 GB 快速内存消费级内存没跟上手机通常只有 4–8 GB高端 MacBook 也止步于 64 GB。llama.cpp/Ollama是最优秀的 GGUF 运行时LM Studio的本地体验最好但它们都有一个共同前提——模型得能塞进内存。塞不进去就只能回到云端账单照涨。Amis-LocalAI 的定位非常聚焦就是要在消费级设备上把这块内存天花板掀掉尤其针对 MoE混合专家架构的开源模型。项目首页 README.md 开篇就写明了这一目标。四层运行时栈AI Storage Expansion 如何工作Amis-LocalAI 不是一个单点优化而是一套四层运行时栈每层解决一个具体问题层技术解决什么1MoE-aware 稀疏激活每个 token 只激活它真正需要的专家其余专家保持冷状态不必常驻内存2AI Storage Expansion把高速 NVMe 存储变成 DRAM 的受管扩展热张量常驻内存冷权重从 SSD 流式读取可寻址的权重空间不再受限于物理内存3页感知内存映射与预取预测下一步计算要触碰哪些权重页提前从 SSD 拉取让延迟不被 SSD 寻址拖垮4CPU 优先调度默认在 CPU 上运行检测到 iGPU / dGPU / NPU 时机会性卸载加速核心思想一句话概括内存装不下没关系让 NVMe SSD 成为内存的第二层。配合 MoE 模型每步只用一小部分专家的特性大部分权重可以安心留在 SSD 上按页流式读入而预取机制保证读取跑在计算前面。项目首页中的原理图完整展示了这套栈的结构详见 README.md 的 How it works 一节。实测数据同机、同模型内存 10.8 GB vs 21.8 GB最有说服力的是同机同模型的正面对比。测试模型为Qwen3.5-35B-A3B34.66B 参数、Q4_K_M 量化、GGUF 格式设备是一台消费级 AI PCIntel Core Ultra 9 285H纯 CPU 推理不使用 GPU指标基线 llama.cppAmis-LocalAI差距内存占用预填充阶段21.8 GB10.8 GB−50%内存占用解码阶段23.3 GB10.8 GB−54%预填充速度pp51278.92 ± 8.74 t/s127.37 ± 2.96 t/s61%解码速度tg10246.20 ± 0.15 t/s6.32 ± 0.12 t/s持平线程数1410更少几个容易被忽略、但很关键的细节完整日志见 docs/benchmarks/qwen3-5-35b-a3b-u9-285h.md内存还更稳基线从预填充的 21.8 GB 涨到解码阶段的 23.3 GBAmis-LocalAI 全程稳定在 10.8 GB不是 mmap 的功劳Amis-LocalAI 使用了mmap0-mmp 0关闭内存映射省下的内存是运行时栈本身的能力线程更少还更快只用 10 个线程基线 14 个预填充反而快了 61%MoE 稀疏激活参数可见于命令行的-nkmoe 15 -ncmoe 99 -tmoe 4 -llmoe等专属参数控制热专家常驻与冷专家流的策略。另外还有一个单点预览数据DeepSeek-V4-Flash Q2在 15 GB 内存下跑出 428.50 t/s 预填充 / 17.39 t/s 解码记录见 docs/benchmarks/deepseek-v4-flash-preview.md平台规格确认后才会对外引用。桌面端怎么用模型广场里的本地部署Amis 桌面端为这套运行时提供了完整的产品界面。进入模型广场 → 本地模型部署选择一个模型例如 Qwen3.6-35B-A3B右侧会显示三块关键信息模型卡参数规模、GGUF 格式、量化方式、内存需求与建议预留空间本机环境检测芯片、总内存、当前可用内存、CPU 核心、GPU、磁盘剩余并直接给出兼容 / 内存紧张的判断运行参数启动模式Mix / GPU、线程数、GPU Layers 等支持保存为自定义 profile。这套界面对应的源码位于 src/renderer/src/components/model-hub/其中 deviceDetection.ts 负责本机硬件检测ModelActivationPage.tsx 是模型激活主页面。想自己复现基准测试克隆仓库后按 README.md 的 Quickstart 一节执行llama-bench命令即可完整的硬件、模型文件、命令与原始输出都已归档在 docs/benchmarks/ 目录下每个数字都可溯源。新手常见问题FAQ需要 GPU 吗不需要。默认目标是CPU 优先iGPU / dGPU / NPU 仅作机会性卸载。上面的正面对比就是纯 CPU-ngl 0跑出来的。会不会把 SSD 读写坏推理是读为主的负载运行时只是把冷权重页流式读入几乎不重写。现代 NVMe SSD 的 TBW可写入量评级普遍在数百 TB 起步日常交互使用离保修磨损上限非常远。它是 llama.cpp 的另一个分支吗不是。预览构建基于ik_llama沿用 GGUF 生态真正的工作在上层——AI Storage Expansion、MoE 感知激活与页感知调度这些与 llama.cpp 本身优化的维度正交。能上生产环境了吗目前是preview预览阶段Qwen3.5 系列已验证、Apple Silicon 在预览中Qwen3.6、Llama、DeepSeek-R1、GLM 等家族在路线图上。独立发行版、OpenAI 兼容本地端点、一行安装brew/apt/pip/ Docker都已在 Roadmap 中。和 Amis 桌面应用什么关系桌面应用是基于这套运行时构建的独立产品面其文档归档在 README.desktop-app.md首页 README 则专注运行时本身。写在最后AI Storage Expansion 的本质是把内存容量这个硬件约束转化为存储带宽调度这个软件问题。对于想在 MacBook、迷你主机或 AI PC 上私有化运行开源大模型的用户来说它给出了一条不靠加内存、不靠上云的路径同一台机器一半的内存更快的响应。项目首页与技术说明README.md基准测试归档目录docs/benchmarks/桌面端模型广场源码src/renderer/src/components/model-hub/赞分享【免费下载链接】Amis️ A local-first desktop workspace for private agents, local models, runtime visibility, and local/cloud routing.项目地址https://gitcode.com/gh_mirrors/amis/Amis点击查看免费下载相关推荐为什么本地大模型总是不够内存用Amis的AI存储扩展轻松解决内存天花板难题为什么本地大模型总是不够内存用Amis的AI存储扩展轻松解决内存天花板难题 跑本地大模型卡住大多数人的往往不是算力而是内存。Amis 开源项目中的 Ami如何在5分钟内搭建完全免费的本地语音转文字工作站Buzz终极指南如何在5分钟内搭建完全免费的本地语音转文字工作站Buzz终极指南 还在为会议录音整理而头疼吗每天面对海量音频视频内容手动转录不仅耗时耗力还面临隐私泄露的语音AI 应用本地部署桌面应用突破内存瓶颈llama.cpp内存池如何让大模型推理提速30%突破内存瓶颈llama.cpp内存池如何让大模型推理提速30% 你是否遇到过本地运行大模型时频繁卡顿、内存占用飙升的问题作为C/C实现的LLaMA模型人工智能大模型推理引擎本地部署模型推理服务模型量化创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
【免费下载链接】Amis️ A local-first desktop workspace for private agents, local models, runtime visibility, and local/cloud routing.项目地址https://gitcode.com/gh_mirrors/amis/Amis点击查看免费下载想让 35B 级别的大模型在普通电脑上跑起来最大的拦路虎是内存。Amis-LocalAI 通过 AI Storage Expansion 技术把 35B 级 MoE 模型的内存占用从 21.8 GB 压到 10.8 GB同时预填充速度还快了 61%。本文面向新手讲清楚这个技术解决了什么问题、由哪四层构成以及实测数据怎么读。为什么本地大模型总是内存不够用问题出在两条曲线背道而驰模型越来越大一个 235B-A22B 的 MoE 模型Q4 量化后也需要约 140 GB 快速内存消费级内存没跟上手机通常只有 4–8 GB高端 MacBook 也止步于 64 GB。llama.cpp/Ollama是最优秀的 GGUF 运行时LM Studio的本地体验最好但它们都有一个共同前提——模型得能塞进内存。塞不进去就只能回到云端账单照涨。Amis-LocalAI 的定位非常聚焦就是要在消费级设备上把这块内存天花板掀掉尤其针对 MoE混合专家架构的开源模型。项目首页 README.md 开篇就写明了这一目标。四层运行时栈AI Storage Expansion 如何工作Amis-LocalAI 不是一个单点优化而是一套四层运行时栈每层解决一个具体问题层技术解决什么1MoE-aware 稀疏激活每个 token 只激活它真正需要的专家其余专家保持冷状态不必常驻内存2AI Storage Expansion把高速 NVMe 存储变成 DRAM 的受管扩展热张量常驻内存冷权重从 SSD 流式读取可寻址的权重空间不再受限于物理内存3页感知内存映射与预取预测下一步计算要触碰哪些权重页提前从 SSD 拉取让延迟不被 SSD 寻址拖垮4CPU 优先调度默认在 CPU 上运行检测到 iGPU / dGPU / NPU 时机会性卸载加速核心思想一句话概括内存装不下没关系让 NVMe SSD 成为内存的第二层。配合 MoE 模型每步只用一小部分专家的特性大部分权重可以安心留在 SSD 上按页流式读入而预取机制保证读取跑在计算前面。项目首页中的原理图完整展示了这套栈的结构详见 README.md 的 How it works 一节。实测数据同机、同模型内存 10.8 GB vs 21.8 GB最有说服力的是同机同模型的正面对比。测试模型为Qwen3.5-35B-A3B34.66B 参数、Q4_K_M 量化、GGUF 格式设备是一台消费级 AI PCIntel Core Ultra 9 285H纯 CPU 推理不使用 GPU指标基线 llama.cppAmis-LocalAI差距内存占用预填充阶段21.8 GB10.8 GB−50%内存占用解码阶段23.3 GB10.8 GB−54%预填充速度pp51278.92 ± 8.74 t/s127.37 ± 2.96 t/s61%解码速度tg10246.20 ± 0.15 t/s6.32 ± 0.12 t/s持平线程数1410更少几个容易被忽略、但很关键的细节完整日志见 docs/benchmarks/qwen3-5-35b-a3b-u9-285h.md内存还更稳基线从预填充的 21.8 GB 涨到解码阶段的 23.3 GBAmis-LocalAI 全程稳定在 10.8 GB不是 mmap 的功劳Amis-LocalAI 使用了mmap0-mmp 0关闭内存映射省下的内存是运行时栈本身的能力线程更少还更快只用 10 个线程基线 14 个预填充反而快了 61%MoE 稀疏激活参数可见于命令行的-nkmoe 15 -ncmoe 99 -tmoe 4 -llmoe等专属参数控制热专家常驻与冷专家流的策略。另外还有一个单点预览数据DeepSeek-V4-Flash Q2在 15 GB 内存下跑出 428.50 t/s 预填充 / 17.39 t/s 解码记录见 docs/benchmarks/deepseek-v4-flash-preview.md平台规格确认后才会对外引用。桌面端怎么用模型广场里的本地部署Amis 桌面端为这套运行时提供了完整的产品界面。进入模型广场 → 本地模型部署选择一个模型例如 Qwen3.6-35B-A3B右侧会显示三块关键信息模型卡参数规模、GGUF 格式、量化方式、内存需求与建议预留空间本机环境检测芯片、总内存、当前可用内存、CPU 核心、GPU、磁盘剩余并直接给出兼容 / 内存紧张的判断运行参数启动模式Mix / GPU、线程数、GPU Layers 等支持保存为自定义 profile。这套界面对应的源码位于 src/renderer/src/components/model-hub/其中 deviceDetection.ts 负责本机硬件检测ModelActivationPage.tsx 是模型激活主页面。想自己复现基准测试克隆仓库后按 README.md 的 Quickstart 一节执行llama-bench命令即可完整的硬件、模型文件、命令与原始输出都已归档在 docs/benchmarks/ 目录下每个数字都可溯源。新手常见问题FAQ需要 GPU 吗不需要。默认目标是CPU 优先iGPU / dGPU / NPU 仅作机会性卸载。上面的正面对比就是纯 CPU-ngl 0跑出来的。会不会把 SSD 读写坏推理是读为主的负载运行时只是把冷权重页流式读入几乎不重写。现代 NVMe SSD 的 TBW可写入量评级普遍在数百 TB 起步日常交互使用离保修磨损上限非常远。它是 llama.cpp 的另一个分支吗不是。预览构建基于ik_llama沿用 GGUF 生态真正的工作在上层——AI Storage Expansion、MoE 感知激活与页感知调度这些与 llama.cpp 本身优化的维度正交。能上生产环境了吗目前是preview预览阶段Qwen3.5 系列已验证、Apple Silicon 在预览中Qwen3.6、Llama、DeepSeek-R1、GLM 等家族在路线图上。独立发行版、OpenAI 兼容本地端点、一行安装brew/apt/pip/ Docker都已在 Roadmap 中。和 Amis 桌面应用什么关系桌面应用是基于这套运行时构建的独立产品面其文档归档在 README.desktop-app.md首页 README 则专注运行时本身。写在最后AI Storage Expansion 的本质是把内存容量这个硬件约束转化为存储带宽调度这个软件问题。对于想在 MacBook、迷你主机或 AI PC 上私有化运行开源大模型的用户来说它给出了一条不靠加内存、不靠上云的路径同一台机器一半的内存更快的响应。项目首页与技术说明README.md基准测试归档目录docs/benchmarks/桌面端模型广场源码src/renderer/src/components/model-hub/赞分享【免费下载链接】Amis️ A local-first desktop workspace for private agents, local models, runtime visibility, and local/cloud routing.项目地址https://gitcode.com/gh_mirrors/amis/Amis点击查看免费下载相关推荐为什么本地大模型总是不够内存用Amis的AI存储扩展轻松解决内存天花板难题为什么本地大模型总是不够内存用Amis的AI存储扩展轻松解决内存天花板难题 跑本地大模型卡住大多数人的往往不是算力而是内存。Amis 开源项目中的 Ami如何在5分钟内搭建完全免费的本地语音转文字工作站Buzz终极指南如何在5分钟内搭建完全免费的本地语音转文字工作站Buzz终极指南 还在为会议录音整理而头疼吗每天面对海量音频视频内容手动转录不仅耗时耗力还面临隐私泄露的语音AI 应用本地部署桌面应用突破内存瓶颈llama.cpp内存池如何让大模型推理提速30%突破内存瓶颈llama.cpp内存池如何让大模型推理提速30% 你是否遇到过本地运行大模型时频繁卡顿、内存占用飙升的问题作为C/C实现的LLaMA模型人工智能大模型推理引擎本地部署模型推理服务模型量化创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
