LocalAI 新手教程：三步从安装到跑通第一个对话模型

LocalAI 新手教程三步从安装到跑通第一个对话模型【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAILocalAI 是开源的本地 AI 引擎能在 CPU 上跑 LLM、语音、图像、视频等全模态模型不要求 GPU。这篇讲清如何把local-ai服务跑起来、发起第一次真实对话并用 WebUI 管理模型。先看选型桌面客户端还是命令行花 30 秒看完这节就能判断 LocalAI 适不适合你的场景。不想碰命令行官方桌面客户端把下载引擎、起服务、更新版本全收进一个窗口要在服务器或容器里部署用local-ai命令行单个二进制文件无需装依赖纯 CPU 机器选小参数量与低量化模型即可LocalAI 明确支持无 GPU 运行三步跑起来 走完这三步你本机就有一个可用的 LocalAI 服务。装引擎下载对应系统的桌面客户端并运行它会自动把local-ai二进制下载进~/.localai/bin并做完整性校验加载第一个模型终端执行local-ai run llama-3.2-1b-instruct:q4_k_m模型与对应后端首次运行时自动下载验证服务浏览器打开http://127.0.0.1:8080首页出现模型列表即启动成功一行命令加载模型后端按需拉取这节做完你能用一行命令引入新模型不用手动摆放模型文件。一行加载local-ai run接收模型名来源可以是官方模型库、Hugging Face 或 Ollama OCI 仓库按需拉后端llama.cpp 这类后端只在首次运行对应模型时才被拉取不跑的能力不占磁盘硬件友好纯 CPU 机器优先选小参数量加q4_k_m这类量化档位适用场景在 CPU 笔记本上先跑通一个小模型验证部署内存富余后再换更大的。打开终端聊天能读文件、跑命令的 Agent这节做完你能在终端里对话而且它不只是聊天窗口。交互对话另开终端执行local-ai chat --model llama-3.2-1b-instruct:q4_k_m默认连http://127.0.0.1:8080Agent 能力能读你的本地文件、执行命令凡涉及状态变更的操作都会先征求你同意适用场景把光标停在项目目录让它解释代码、顺手做小改动。进 WebUI 模型库按类型和标签筛选这节做完你能不用终端就挑模型、装模型、删模型。模型卡片首页每张卡片带 Chat 与 Delete 按钮不敲命令直接操作模型库筛选从顶部导航进模型库按类型与标签过滤快速定位想要的模型即时反馈装好的模型立刻出现在首页列表点 Chat 即可开始适用场景给不会终端的同事也能自助加载新模型。托盘右键菜单一键启停与更新这节做完日常操作连主窗口都不用打开——关闭窗口只是把界面收进托盘服务不受影响。动态菜单右键托盘图标未安装显示安装项运行中显示停止已装未运行显示启动状态速览菜单顶部常驻当前状态与版本点击可展开完整详情自动查更新周期性检查发布源发现新版本时菜单多出带版本号的提示实现细节可看 桌面客户端源码。最高频的三个配置改动路径、端口、环境变量这节做完你能把数据迁到大容量盘、换掉被占用的端口。models_path指到大容量盘避免模型把系统盘占满address8080被占用时改端口重启服务生效environment_vars逐条注入OMP_NUM_THREADS这类变量不必再碰 shell{ models_path: /data/models, address: 127.0.0.1:8080, environment_vars: { OMP_NUM_THREADS: 4 } }命令行侧对应参数是--models-path与--address同样即时生效。起不来先查这三处出错时按这个顺序排查多数故障三步内就能定位。先看日志打开~/.localai/logs/下时间戳最新的localai_*.log每次启动生成一份再查端口8080是最高频冲突改配置里的address后重启最后看下载半截文件下次启动客户端会自动清理直接重新触发下载即可现在动手装一个模型开始第一次对话LocalAI 把下载、校验、更新这三件最费心的事做进了客户端剩下的只是挑模型。你现在就能做两件事打开http://127.0.0.1:8080的模型库装一个对话模型或直接在终端跑local-ai chat --model llama-3.2-1b-instruct:q4_k_m完成第一次真实对话。更多功能与参数说明见 官方文档。【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考