Ollama本地模型运行引擎代码模型根据自身需求选用此处 以 qwen2.5-coder:7b-instruct 为例后来需要不联网翻译一些资料用的是 translategemma:4b模型Open WebUI本地网页界面类似 ChatGPT 窗口粘贴代码直接对话断网可用安装Ollama外网环境下载安装包官网下载 Ollamahttps://ollama.com/download双击安装一路下一步安装完成打开PowerShell拉取代码模型下载一次之后离线永久使用ollama pull qwen2.5-coder:7b-instruct文件大小约 4.7GB下载完成后可以彻底断网运行测试离线运行ollama run qwen2.5-coder:7b-instruct运行起来就可以输入问题了ctrld 可以退出安装 部署 Open WebUI 未实现这里考虑到python环境冲突问题不适用pip 方式安装使用 Open WebUI Windows 独立桌面版单文件 exe下载地址GitHub 官方 Release v0.0.20 · open-webui/desktop · GitHub找最新版本open-webui-x64-setup.exe安装后打不开http://127.0.0.1:8080/ 我跳过了这步配置网页访问ollama服务可行方案1. 新建一个文件夹路径不要中文、不要空格新建ollama-ui.html代码内容如下!DOCTYPE html html langzh-CN head meta charsetUTF-8 titleOllama Local Chat/title style * {box-sizing: border-box;margin:0;padding:0;font-family:Consolas,system-ui} body{background:#111;color:#eee;padding:16px;max-width:1200px;margin:0 auto} .top-bar{display:flex;gap:12px;align-items:center;margin-bottom:16px;flex-wrap:wrap} select,input,button{padding:8px 12px;font-size:14px;border-radius:6px;border:none} select,input{background:#222;color:#fff;border:1px solid #444} button{background:#2563eb;color:#fff;cursor:pointer} button:active{opacity:0.85} #chat{height:60vh;overflow-y:auto;border:1px solid #333;padding:12px;border-radius:8px;margin-bottom:12px} .msg{margin:8px 0;white-space:pre-wrap;line-height:1.5} .user{color:#7dd3fc} .ai{color:#a7f3d0} .code{background:#1e1e1e;padding:10px;border-radius:6px;overflow-x:auto;margin:6px 0} #prompt{width:100%;height:120px;background:#1a1a1a;color:#eee;border:1px solid #333;padding:10px;border-radius:8px;resize:none;font-size:14px} /style /head body div classtop-bar label模型/label select idmodel/select button idrefresh刷新模型/button labelTemperature/label input idtemp typenumber value0.1 min0 max1 step0.05 /div div idchat/div textarea idprompt placeholder粘贴C驱动代码输入提问.../textarea div stylemargin-top:8px;display:flex;gap:8px button idsend发送/button button idclear清空对话/button /div script const API_URL http://127.0.0.1:11434/api; const chatEl document.getElementById(chat); const modelSel document.getElementById(model); const promptEl document.getElementById(prompt); const tempEl document.getElementById(temp); async function loadModels(){ const res await fetch(${API_URL}/tags); const json await res.json(); modelSel.innerHTML ; json.models.forEach(m{ const opt document.createElement(option); opt.value m.name; opt.innerText m.name; modelSel.appendChild(opt); }); } document.getElementById(refresh).onclick loadModels; document.getElementById(clear).onclick ()chatEl.innerHTML; function appendMsg(text, cls){ const div document.createElement(div); div.className msg cls; div.innerHTML renderMarkdown(text); chatEl.appendChild(div); chatEl.scrollTop chatEl.scrollHeight; return div; } function renderMarkdown(s){ return s.replace(/([\s\S]*?)/g,div classcode$1/div); } document.getElementById(send).onclick async (){ const prompt promptEl.value.trim(); if(!prompt) return; appendMsg(prompt, user); promptEl.value ; const aiDiv appendMsg(, ai); const resp await fetch(${API_URL}/chat,{ method:POST, headers:{Content-Type:application/json}, body:JSON.stringify({ model: modelSel.value, messages: [{role:user, content:prompt}], stream:true, options:{temperature: parseFloat(tempEl.value)} }) }); const reader resp.body.getReader(); const decoder new TextDecoder(); let fullText ; while(true){ const {done,value} await reader.read(); if(done) break; const chunk decoder.decode(value); const lines chunk.split(\n).filter(Boolean); for(const line of lines){ const obj JSON.parse(line); if(obj.message?.content){ fullText obj.message.content; aiDiv.innerHTML renderMarkdown(fullText); chatEl.scrollTop chatEl.scrollHeight; } } } } loadModels(); /script /body /html2. 打开 PowerShellcd 进入这个文件夹3. 启动简易 HTTP 服务python -m http.server 8000看到输出Serving HTTP on 0.0.0.0 port 8000 (http://0.0.0.0:8000/) ...代表成功。4. 浏览器访问http://127.0.0.1:8000/ollama-ui.html5. 关闭方式直接在PowerShell里面 ctrlC查找占用 8000 端口的进程并杀掉netstat -ano | findstr :8000最后一列数字是 PID然后执行taskkill /F /PID 这里替换成查到的PID安装 配置VS Code插件 可行方案安装在扩展插件栏 搜索Continue - open-source AI code agent点击【安装】重启 VSCode配置左侧边栏打开 Continue 面板图标六边形点击面板右上角⚙设置 → Open Config打开new config.yaml清空原有内容粘贴下面这份配置version: 0.0.1 schema: v1 models: - name: Qwen2.5-Coder 7B-Instruct provider: ollama model: qwen2.5-coder:7b-instruct apiBase: http://127.0.0.1:11434 roles: - chat - edit completionOptions: temperature: 0.1 num_ctx: 8192报错 完成配置之后就可以选中代码 ctrlL 唤起 Continue 对话或者直接在 Continue面板进行提问
Ollama本地模型运行引擎代码模型根据自身需求选用此处 以 qwen2.5-coder:7b-instruct 为例后来需要不联网翻译一些资料用的是 translategemma:4b模型Open WebUI本地网页界面类似 ChatGPT 窗口粘贴代码直接对话断网可用安装Ollama外网环境下载安装包官网下载 Ollamahttps://ollama.com/download双击安装一路下一步安装完成打开PowerShell拉取代码模型下载一次之后离线永久使用ollama pull qwen2.5-coder:7b-instruct文件大小约 4.7GB下载完成后可以彻底断网运行测试离线运行ollama run qwen2.5-coder:7b-instruct运行起来就可以输入问题了ctrld 可以退出安装 部署 Open WebUI 未实现这里考虑到python环境冲突问题不适用pip 方式安装使用 Open WebUI Windows 独立桌面版单文件 exe下载地址GitHub 官方 Release v0.0.20 · open-webui/desktop · GitHub找最新版本open-webui-x64-setup.exe安装后打不开http://127.0.0.1:8080/ 我跳过了这步配置网页访问ollama服务可行方案1. 新建一个文件夹路径不要中文、不要空格新建ollama-ui.html代码内容如下!DOCTYPE html html langzh-CN head meta charsetUTF-8 titleOllama Local Chat/title style * {box-sizing: border-box;margin:0;padding:0;font-family:Consolas,system-ui} body{background:#111;color:#eee;padding:16px;max-width:1200px;margin:0 auto} .top-bar{display:flex;gap:12px;align-items:center;margin-bottom:16px;flex-wrap:wrap} select,input,button{padding:8px 12px;font-size:14px;border-radius:6px;border:none} select,input{background:#222;color:#fff;border:1px solid #444} button{background:#2563eb;color:#fff;cursor:pointer} button:active{opacity:0.85} #chat{height:60vh;overflow-y:auto;border:1px solid #333;padding:12px;border-radius:8px;margin-bottom:12px} .msg{margin:8px 0;white-space:pre-wrap;line-height:1.5} .user{color:#7dd3fc} .ai{color:#a7f3d0} .code{background:#1e1e1e;padding:10px;border-radius:6px;overflow-x:auto;margin:6px 0} #prompt{width:100%;height:120px;background:#1a1a1a;color:#eee;border:1px solid #333;padding:10px;border-radius:8px;resize:none;font-size:14px} /style /head body div classtop-bar label模型/label select idmodel/select button idrefresh刷新模型/button labelTemperature/label input idtemp typenumber value0.1 min0 max1 step0.05 /div div idchat/div textarea idprompt placeholder粘贴C驱动代码输入提问.../textarea div stylemargin-top:8px;display:flex;gap:8px button idsend发送/button button idclear清空对话/button /div script const API_URL http://127.0.0.1:11434/api; const chatEl document.getElementById(chat); const modelSel document.getElementById(model); const promptEl document.getElementById(prompt); const tempEl document.getElementById(temp); async function loadModels(){ const res await fetch(${API_URL}/tags); const json await res.json(); modelSel.innerHTML ; json.models.forEach(m{ const opt document.createElement(option); opt.value m.name; opt.innerText m.name; modelSel.appendChild(opt); }); } document.getElementById(refresh).onclick loadModels; document.getElementById(clear).onclick ()chatEl.innerHTML; function appendMsg(text, cls){ const div document.createElement(div); div.className msg cls; div.innerHTML renderMarkdown(text); chatEl.appendChild(div); chatEl.scrollTop chatEl.scrollHeight; return div; } function renderMarkdown(s){ return s.replace(/([\s\S]*?)/g,div classcode$1/div); } document.getElementById(send).onclick async (){ const prompt promptEl.value.trim(); if(!prompt) return; appendMsg(prompt, user); promptEl.value ; const aiDiv appendMsg(, ai); const resp await fetch(${API_URL}/chat,{ method:POST, headers:{Content-Type:application/json}, body:JSON.stringify({ model: modelSel.value, messages: [{role:user, content:prompt}], stream:true, options:{temperature: parseFloat(tempEl.value)} }) }); const reader resp.body.getReader(); const decoder new TextDecoder(); let fullText ; while(true){ const {done,value} await reader.read(); if(done) break; const chunk decoder.decode(value); const lines chunk.split(\n).filter(Boolean); for(const line of lines){ const obj JSON.parse(line); if(obj.message?.content){ fullText obj.message.content; aiDiv.innerHTML renderMarkdown(fullText); chatEl.scrollTop chatEl.scrollHeight; } } } } loadModels(); /script /body /html2. 打开 PowerShellcd 进入这个文件夹3. 启动简易 HTTP 服务python -m http.server 8000看到输出Serving HTTP on 0.0.0.0 port 8000 (http://0.0.0.0:8000/) ...代表成功。4. 浏览器访问http://127.0.0.1:8000/ollama-ui.html5. 关闭方式直接在PowerShell里面 ctrlC查找占用 8000 端口的进程并杀掉netstat -ano | findstr :8000最后一列数字是 PID然后执行taskkill /F /PID 这里替换成查到的PID安装 配置VS Code插件 可行方案安装在扩展插件栏 搜索Continue - open-source AI code agent点击【安装】重启 VSCode配置左侧边栏打开 Continue 面板图标六边形点击面板右上角⚙设置 → Open Config打开new config.yaml清空原有内容粘贴下面这份配置version: 0.0.1 schema: v1 models: - name: Qwen2.5-Coder 7B-Instruct provider: ollama model: qwen2.5-coder:7b-instruct apiBase: http://127.0.0.1:11434 roles: - chat - edit completionOptions: temperature: 0.1 num_ctx: 8192报错 完成配置之后就可以选中代码 ctrlL 唤起 Continue 对话或者直接在 Continue面板进行提问
