llama.cpp Docker 部署实战一条命令体验到生产级服务的完整路径【免费下载链接】llama.cppLLM inference in C/C项目地址: https://gitcode.com/GitHub_Trending/ll/llama.cppllama.cpp Docker 部署是搭推理服务最省事的路径这个纯 C/C 推理引擎不需要 Python 环境官方容器镜像一条命令就能得到一个随时可调用的 HTTP 推理 API且任何装了 Docker 的机器上命令都原样可用。本文覆盖三条路线——CPU 试水、GPU 加速、生产长期运行每步都带验证命令。首次体验一条 docker run 命令拉起推理服务不用 clone 仓库不用编译。准备一个 GGUF 格式的模型文件llama.cpp 的统一模型格式在装有 Docker 的机器上跑下面这条命令一次完成拉取server镜像、映射端口、挂载模型、启动 HTTP 服务四件事docker run -d --name llama-server \ -p 宿主机端口:8080 \ -v 你的模型目录:/models \ ghcr.io/ggml-org/llama.cpp:server \ -m /models/你的模型文件.gguf \ --host 0.0.0.0 --port 8080验证两条curl http://localhost:宿主机端口/health返回{status:ok}即 ✅ 服务已就绪。浏览器打开http://localhost:宿主机端口/还能看到 llama-server 自带的 Web 聊天页不写代码直接和模型对话。⚠️ 内存紧张就选低精度量化模型7B 的 Q4_K_M 版本加载后约占 4.4GB 内存。镜像与参数选型CPU、NVIDIA、AMD 三条路线纯 CPUserver 镜像只需动两个参数servertag 只含llama-server可执行文件体积最小纯 CPU 推理完全够用fulltag 多带模型转换和量化工具链现阶段不必拉。需要调的参数只有两个参数含义建议值-c 长度最大上下文长度直接决定内存占用4096内存紧张就降-t 数量使用的 CPU 线程数物理核心数验证/health通过且补全请求首 token 时间在 1 秒内。7B Q4_K_M 在现代桌面 CPU 上一般能到几到几十个 token/s明显慢于这个水平先看top确认线程是否真正吃满。GPU 加速llama-server GPU 加速完整命令NVIDIA 用户改两处即可镜像换server-cuda命令加--gpus all要求宿主机已装 nvidia-container-toolkit再带--n-gpu-layers 99让尽量多的层卸载到显存docker run -d --name llama-server \ --gpus all \ -p 宿主机端口:8080 \ -v 你的模型目录:/models \ ghcr.io/ggml-org/llama.cpp:server-cuda \ -m /models/你的模型文件.gguf \ --host 0.0.0.0 --port 8080 \ --n-gpu-layers 99验证启动日志出现 CUDA 设备初始化、单 token 速度比 CPU 快数倍。日志里仍显示 CPU backend大概率是宿主机缺容器工具包显存不够导致启动 OOM 时把 99 逐步调低直到装得下——8GB 显存基本能放下 7B Q4_K_M 的全部层。AMD 卡把 tag 换成server-rocm仅支持 amd64 平台--gpus all与--n-gpu-layers用法不变vulkan、intel 等其余镜像的完整清单见 官方 Docker 文档。生产级 Compose 配置重启、日志轮转、健康检查一次配齐要 7×24 运行的服务别再用一次性命令写进 Compose 文件services: llama-server: image: ghcr.io/ggml-org/llama.cpp:server restart: unless-stopped ports: [宿主机端口:8080] volumes: [./models:/models] logging: driver: json-file options: {max-size: 10m, max-file: 3} command: -m /models/你的模型文件.gguf --host 0.0.0.0 --port 8080 healthcheck: test: [CMD, curl, -f, http://localhost:8080/health] interval: 30s retries: 3docker compose up -d启动。这份配置一次解决三件事restart: unless-stopped让机器重启后服务自动回来日志限制单文件 10MB、最多保留 3 份合计 30MB 封顶不会撑爆磁盘healthcheck让 Docker 每 30 秒探测一次/health——镜像虽内置健康检查显式写进 Compose 后升级镜像也不用担心行为变化。验证docker compose logs -f无异常docker inspect --format {{.State.Health.Status}} llama-server返回healthy✅。调用服务原生补全与 OpenAI 兼容两种接口llama.cpp 容器化推理服务暴露 HTTP API最常用两个。原生补全接口——自己拼好 prompt模型直接续写curl http://localhost:宿主机端口/completion \ -H Content-Type: application/json \ -d {prompt: 用一句话介绍 llama.cpp, n_predict: 64, stream: false}OpenAI 兼容接口——现有 OpenAI SDK 的代码改个 base URL 就能切过来其余不动curl http://localhost:宿主机端口/v1/chat/completions \ -H Content-Type: application/json \ -d {messages: [{role: user, content: 你好}], max_tokens: 64}容器里模型逐 token 做的是矩阵乘法下面的参数只决定每次乘完以后怎么从概率分布里挑下一个 token常用采样参数参数含义建议temperature采样随机性越高越发散创作 0.7问答 0.1top_p核采样阈值只从累计概率 p 内的 token 里选0.9max_tokens最多生成 token 数按需限死别让它吃满上下文stream是否逐 token 流式返回前端展示选 truerepeat_penalty惩罚重复内容1.1故障排查速查跑不通时对照 6 个高频问题现象最可能原因修复动作容器秒退日志说找不到模型容器内路径写错检查-v挂载-m的路径应是/models/文件名日志只有 CPU backendGPU 没生效宿主机没装 nvidia-container-toolkit装好工具包用docker run --gpus all 镜像 nvidia-smi验证启动 OOM 被直接杀掉上下文太长或 GPU 层数过多调小-c、调低--n-gpu-layers、换低精度量化API 返回 401服务端开了--api-key key但请求没带请求携带与服务端相同的 key别的机器访问不到端口--host只绑了 127.0.0.1 或防火墙拦截改--host 0.0.0.0并放行对应端口前几分钟响应极慢模型还在加载等日志出现加载完成提示再发请求进阶延伸监控、扩容与 K8s 化服务跑稳之后llama.cpp 生产环境部署还有三步可走监控llama-server 内置/metrics端点Prometheus 直接抓取横向扩容单实例扛不住时多起几个实例用 nginx 做轮询负载均衡K8s 化上面的 Compose 配置可平移到 K8s——command即容器启动参数healthcheck转为存活探针模型目录改为 PVC 挂载。镜像 tag 全表、各 GPU 后端的构建参数等细节可继续查阅 docs/docker.md。【免费下载链接】llama.cppLLM inference in C/C项目地址: https://gitcode.com/GitHub_Trending/ll/llama.cpp创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
llama.cpp Docker 部署实战一条命令体验到生产级服务的完整路径【免费下载链接】llama.cppLLM inference in C/C项目地址: https://gitcode.com/GitHub_Trending/ll/llama.cppllama.cpp Docker 部署是搭推理服务最省事的路径这个纯 C/C 推理引擎不需要 Python 环境官方容器镜像一条命令就能得到一个随时可调用的 HTTP 推理 API且任何装了 Docker 的机器上命令都原样可用。本文覆盖三条路线——CPU 试水、GPU 加速、生产长期运行每步都带验证命令。首次体验一条 docker run 命令拉起推理服务不用 clone 仓库不用编译。准备一个 GGUF 格式的模型文件llama.cpp 的统一模型格式在装有 Docker 的机器上跑下面这条命令一次完成拉取server镜像、映射端口、挂载模型、启动 HTTP 服务四件事docker run -d --name llama-server \ -p 宿主机端口:8080 \ -v 你的模型目录:/models \ ghcr.io/ggml-org/llama.cpp:server \ -m /models/你的模型文件.gguf \ --host 0.0.0.0 --port 8080验证两条curl http://localhost:宿主机端口/health返回{status:ok}即 ✅ 服务已就绪。浏览器打开http://localhost:宿主机端口/还能看到 llama-server 自带的 Web 聊天页不写代码直接和模型对话。⚠️ 内存紧张就选低精度量化模型7B 的 Q4_K_M 版本加载后约占 4.4GB 内存。镜像与参数选型CPU、NVIDIA、AMD 三条路线纯 CPUserver 镜像只需动两个参数servertag 只含llama-server可执行文件体积最小纯 CPU 推理完全够用fulltag 多带模型转换和量化工具链现阶段不必拉。需要调的参数只有两个参数含义建议值-c 长度最大上下文长度直接决定内存占用4096内存紧张就降-t 数量使用的 CPU 线程数物理核心数验证/health通过且补全请求首 token 时间在 1 秒内。7B Q4_K_M 在现代桌面 CPU 上一般能到几到几十个 token/s明显慢于这个水平先看top确认线程是否真正吃满。GPU 加速llama-server GPU 加速完整命令NVIDIA 用户改两处即可镜像换server-cuda命令加--gpus all要求宿主机已装 nvidia-container-toolkit再带--n-gpu-layers 99让尽量多的层卸载到显存docker run -d --name llama-server \ --gpus all \ -p 宿主机端口:8080 \ -v 你的模型目录:/models \ ghcr.io/ggml-org/llama.cpp:server-cuda \ -m /models/你的模型文件.gguf \ --host 0.0.0.0 --port 8080 \ --n-gpu-layers 99验证启动日志出现 CUDA 设备初始化、单 token 速度比 CPU 快数倍。日志里仍显示 CPU backend大概率是宿主机缺容器工具包显存不够导致启动 OOM 时把 99 逐步调低直到装得下——8GB 显存基本能放下 7B Q4_K_M 的全部层。AMD 卡把 tag 换成server-rocm仅支持 amd64 平台--gpus all与--n-gpu-layers用法不变vulkan、intel 等其余镜像的完整清单见 官方 Docker 文档。生产级 Compose 配置重启、日志轮转、健康检查一次配齐要 7×24 运行的服务别再用一次性命令写进 Compose 文件services: llama-server: image: ghcr.io/ggml-org/llama.cpp:server restart: unless-stopped ports: [宿主机端口:8080] volumes: [./models:/models] logging: driver: json-file options: {max-size: 10m, max-file: 3} command: -m /models/你的模型文件.gguf --host 0.0.0.0 --port 8080 healthcheck: test: [CMD, curl, -f, http://localhost:8080/health] interval: 30s retries: 3docker compose up -d启动。这份配置一次解决三件事restart: unless-stopped让机器重启后服务自动回来日志限制单文件 10MB、最多保留 3 份合计 30MB 封顶不会撑爆磁盘healthcheck让 Docker 每 30 秒探测一次/health——镜像虽内置健康检查显式写进 Compose 后升级镜像也不用担心行为变化。验证docker compose logs -f无异常docker inspect --format {{.State.Health.Status}} llama-server返回healthy✅。调用服务原生补全与 OpenAI 兼容两种接口llama.cpp 容器化推理服务暴露 HTTP API最常用两个。原生补全接口——自己拼好 prompt模型直接续写curl http://localhost:宿主机端口/completion \ -H Content-Type: application/json \ -d {prompt: 用一句话介绍 llama.cpp, n_predict: 64, stream: false}OpenAI 兼容接口——现有 OpenAI SDK 的代码改个 base URL 就能切过来其余不动curl http://localhost:宿主机端口/v1/chat/completions \ -H Content-Type: application/json \ -d {messages: [{role: user, content: 你好}], max_tokens: 64}容器里模型逐 token 做的是矩阵乘法下面的参数只决定每次乘完以后怎么从概率分布里挑下一个 token常用采样参数参数含义建议temperature采样随机性越高越发散创作 0.7问答 0.1top_p核采样阈值只从累计概率 p 内的 token 里选0.9max_tokens最多生成 token 数按需限死别让它吃满上下文stream是否逐 token 流式返回前端展示选 truerepeat_penalty惩罚重复内容1.1故障排查速查跑不通时对照 6 个高频问题现象最可能原因修复动作容器秒退日志说找不到模型容器内路径写错检查-v挂载-m的路径应是/models/文件名日志只有 CPU backendGPU 没生效宿主机没装 nvidia-container-toolkit装好工具包用docker run --gpus all 镜像 nvidia-smi验证启动 OOM 被直接杀掉上下文太长或 GPU 层数过多调小-c、调低--n-gpu-layers、换低精度量化API 返回 401服务端开了--api-key key但请求没带请求携带与服务端相同的 key别的机器访问不到端口--host只绑了 127.0.0.1 或防火墙拦截改--host 0.0.0.0并放行对应端口前几分钟响应极慢模型还在加载等日志出现加载完成提示再发请求进阶延伸监控、扩容与 K8s 化服务跑稳之后llama.cpp 生产环境部署还有三步可走监控llama-server 内置/metrics端点Prometheus 直接抓取横向扩容单实例扛不住时多起几个实例用 nginx 做轮询负载均衡K8s 化上面的 Compose 配置可平移到 K8s——command即容器启动参数healthcheck转为存活探针模型目录改为 PVC 挂载。镜像 tag 全表、各 GPU 后端的构建参数等细节可继续查阅 docs/docker.md。【免费下载链接】llama.cppLLM inference in C/C项目地址: https://gitcode.com/GitHub_Trending/ll/llama.cpp创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
