前言当前AI革命中大模型发挥关键角色其理论基础在于Scaling Law。简单来说就是随着数据、参数和计算能力的提升模型能力增强展现出小规模模型所不具备的“涌现能力”。众多AI企业推出开源大模型规模按扩展定律实现指数增长。然而不可忽视另一趋势大模型体积正逐渐精简为私有化部署提供可能性。这在个人隐私保护要求高的场景中尤为重要。无需联网传输数据直接在设备上运行的AI能增强用户信任。虽然云服务器上的AI可能性能更强但安全性和可靠性令人担忧。本文介绍几个适合私有化部署的最新大模型并提供部署指导手把手部署到电脑及手机。一、开源大模型介绍目前备受瞩目的大型模型如ChatGPT和Bard都是基于专有的闭源技术构建的。这无疑限制了它们的应用范围同时也使技术信息的透明度变得模糊。然而开源AI大型模型LLMs正逐渐崭露头角它们不仅增强了数据的安全性和隐私保护还为用户节省了成本降低了对外部依赖实现了代码的透明性和模型的个性化定制。其中Meta推出的Llama 3和微软的Phi3是开源大模型中的佼佼者被誉为“小而美”的模型且部署起来极为便捷。这些开源大模型的出现让我们看到了AI技术更加开放、透明和灵活的未来。1、Llama 3Meta 重磅发布两款开源Llama 3 8B与Llama 3 70B模型供外部开发者免费使用。Meta表示Llama 3 8B和Llama 3 70B是目前同体量下性能最好的开源模型。LLaMA是顶尖的开源模型众多国内大型模型都基于它构建。经过人类反馈的强化学习RLHF微调后它可以作为聊天机器人适应多种自然语言生成任务包括编程。基准测试显示Llama 3 400B的实力与Claude超大杯和新版GPT-4 Turbo相近证明它在顶尖大模型中占据重要地位。模型链接https://llama.meta.com/llama-downloads/GitHub项目地址https://github.com/meta-llama/llama32. Phi-3Phi是微软AI研究院新推出的开源小型语言模型适用于商业环境其特点是小巧高效。Phi系列包括Mini、Small和Medium三种规模。尽管Phi-3-Mini只有3.8B参数但在关键测试中表现出色与大型模型如Mixtral 8x7B和GPT-3.5相当更大的版本在扩展数据集下肯定表现更佳。Phi-3 技术报告《一个能跑在手机上的大模型》https://arxiv.org/abs/2404.14219小结经过基准测试Llama 3 8B和Phi3 3.8B小模型均表现出色。尽管它们的规模较小但它们所采用的优化方法却具有一定的相似性。对于大型模型的性能表现关键因素在于框架、数据和参数。鉴于参数规模较小因此在如此小的参数下使用MOE框架并无实际意义。因此这些模型主要在数据上投入大量精力通过提高数据的数量或质量来优化小模型的性能。这为未来精简大型模型提供了重要的方向。二、电脑部署的流程首先介绍下大模型部署利器Ollama支持Llama 3、Mistral、Gemma等大型语言模型。部署大模型只需两步下载并安装Ollama然后运行大模型。以Windows为例从官网或文末下载Ollama一键安装即可。官网下载链接 https://github.com/ollama/ollama安装完Ollama后然后打开命令行运行命令【ollama run llama3】 就可以下载并运行llama3大模型了其他模型的运行命令如上初次下载模型的会比较慢下载完就可以愉快地对话了。Ollama还支持其他功能如图片等多模态输入、传入提示词调教模型等具体可以看下文档。三、手机部署的流程与电脑相比手机部署大模型意义更大因为手机与生活更紧密且手机上有大量个人数据便于后续交互。现在很多人都有闲置手机如果性能足够运行大模型很有吸引力。我的旧手机是小米8性能还可以。手机上部署麻烦一些类似于电脑部署需要安装配置Linux环境。虽然安卓底层基于Linux内核但重装Linux很难。不过我发现了一个神器Termux可以在Android设备上运行许多Linux命令和工具。你可以从F-Droid官网下载安装Termux。官网下载链接https://github.com/termux/termux-app/releases安装后打开Termux如下图。如有要打开多个Linux窗口左上角右滑点击New session就可以。要在手机上部署大模型使用TermuxOllama就成了。首先通过Termux的proot-distro功能可以方便地安装一个Linux系统如Ubuntu、Debian或Arch Linux。这样在Android设备上就能拥有完整的Linux环境以安装和运行Linux软件包。//先来安装proot-distro pkg install proot-distro//使用proot-distro安装一个debian proot-distro install debian//安装成功后通过login命令就直接进入debian为发行版启动一个root shell proot-distro login debian第二步同电脑的流程安装Ollama下载及运行大模型。//进入之后再来安装ollama curl-fsSL https://ollama.com/install.sh|sh//安装完毕可以查看ollama版本进行验证出现版本号之后就可以使用ollama ollama-v//后台开启ollama服务 nohup ollama serve//运行大模型其他模型的命令如下图可通过ollamalist查看模型 ollama run phi3第一次要下载安装软件及大模型会比较慢弄个一小时是要的。安装完了后面都可以直接使用。只要运行login debian系统、Ollama服务、运行大模型后就可以使用了。在手机上编写代码有种独特的魅力。虽然简陋但一行行输入代码看着屏幕上的输出感觉非常酷。安装远程软件如Tailscale或todesk用电脑编写代码更有趣。但需要注意如果算力受限大模型回复较慢同时手机也会更耗电。四、本地大模型的体验模型表现大模型表现权威的数据可以看一些相关的测评比如下图。在此我对手机本地部署的两个大型模型llama3和Phi3进行了简要的测试并分享了我的个人体验。总体而言llama3在各项表现中展现出更为稳定的特性而Phi虽然有时会出现差错但其响应速度却更胜一筹使我在综合体验上觉得Phi更为出色。响应速度受限于手机或电脑的性能如果电脑配备了GPU响应可能会更为流畅。然而在手机上的回复确实显得有些迟缓有时甚至需要等待几分钟才能得到几个字的回应。值得注意的是Phi3的回应速度明显快于llama3。尽管llama3的8B模型规模几乎是Phi3的3.8B模型规模的两倍。中文能力方面这些开源模型确实存在一定的短板。当提问一些不常见的问题时模型在回答过程中可能会突然转向英文。此外很多中文表达模糊不清导致它们讲述的笑话内容也显得尴尬。这主要是因为高质量的中文数据集远远无法与英文数据集相提并论这一数据层面的差异在未来很可能会进一步凸显。在中文任务方面我觉得llama的表现会比Phi3更为出色。如果你有兴趣还可以尝试llama的中文变种——llama3-Chinese。llama3phi3**代码能力**看着都有模有样的但还是可以看出来Phi3有一些语法错误。llama3phi3**数学推理**看着都还不错Phi3感觉更好些。llama3phi3**安全性**都有不错的合规意识llama3phi3五、结语尽管当前AI的落地应用尚显稀疏但技术的成长毕竟需要时间大型模型的高昂推理成本无疑是其普及的桎梏。然而**正是小模型如Llama 3和Phi3的崭露头角让我们看到了大模型实用化的曙光。**虽然小模型的训练成本较高但其低廉的推理成本却为整体经济带来显著的节省特别是在为海量用户提供服务时高性能的小模型更让AI挣脱了成本的束缚灵活应用于各种场景。想象一下能够根据自身需求在本地部署定制化的AI其魅力不言而喻展望未来相信随着模型优化和定制AI芯片等技术带来的算力提升更多“小而美”的AI大模型将逐渐融入我们的日常生活让我们感受AI带来的变革本文到此为止大家玩的愉快别忘了点赞哦最后的最后感谢你们的阅读和喜欢作为一位在一线互联网行业奋斗多年的老兵我深知在这个瞬息万变的技术领域中持续学习和进步的重要性。为了帮助更多热爱技术、渴望成长的朋友我特别整理了一份涵盖大模型领域的宝贵资料集。这些资料不仅是我多年积累的心血结晶也是我在行业一线实战经验的总结。这些学习资料不仅深入浅出而且非常实用让大家系统而高效地掌握AI大模型的各个知识点。如果你愿意花时间沉下心来学习相信它们一定能为你提供实质性的帮助。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】大模型知识脑图为了成为更好的 AI大模型 开发者这里为大家提供了总的路线图。它的用处就在于你可以按照上面的知识点去找对应的学习资源保证自己学得较为全面。经典书籍阅读阅读AI大模型经典书籍可以帮助读者提高技术水平开拓视野掌握核心技术提高解决问题的能力同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说阅读经典书籍是非常有必要的。实战案例光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。面试资料我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
前言当前AI革命中大模型发挥关键角色其理论基础在于Scaling Law。简单来说就是随着数据、参数和计算能力的提升模型能力增强展现出小规模模型所不具备的“涌现能力”。众多AI企业推出开源大模型规模按扩展定律实现指数增长。然而不可忽视另一趋势大模型体积正逐渐精简为私有化部署提供可能性。这在个人隐私保护要求高的场景中尤为重要。无需联网传输数据直接在设备上运行的AI能增强用户信任。虽然云服务器上的AI可能性能更强但安全性和可靠性令人担忧。本文介绍几个适合私有化部署的最新大模型并提供部署指导手把手部署到电脑及手机。一、开源大模型介绍目前备受瞩目的大型模型如ChatGPT和Bard都是基于专有的闭源技术构建的。这无疑限制了它们的应用范围同时也使技术信息的透明度变得模糊。然而开源AI大型模型LLMs正逐渐崭露头角它们不仅增强了数据的安全性和隐私保护还为用户节省了成本降低了对外部依赖实现了代码的透明性和模型的个性化定制。其中Meta推出的Llama 3和微软的Phi3是开源大模型中的佼佼者被誉为“小而美”的模型且部署起来极为便捷。这些开源大模型的出现让我们看到了AI技术更加开放、透明和灵活的未来。1、Llama 3Meta 重磅发布两款开源Llama 3 8B与Llama 3 70B模型供外部开发者免费使用。Meta表示Llama 3 8B和Llama 3 70B是目前同体量下性能最好的开源模型。LLaMA是顶尖的开源模型众多国内大型模型都基于它构建。经过人类反馈的强化学习RLHF微调后它可以作为聊天机器人适应多种自然语言生成任务包括编程。基准测试显示Llama 3 400B的实力与Claude超大杯和新版GPT-4 Turbo相近证明它在顶尖大模型中占据重要地位。模型链接https://llama.meta.com/llama-downloads/GitHub项目地址https://github.com/meta-llama/llama32. Phi-3Phi是微软AI研究院新推出的开源小型语言模型适用于商业环境其特点是小巧高效。Phi系列包括Mini、Small和Medium三种规模。尽管Phi-3-Mini只有3.8B参数但在关键测试中表现出色与大型模型如Mixtral 8x7B和GPT-3.5相当更大的版本在扩展数据集下肯定表现更佳。Phi-3 技术报告《一个能跑在手机上的大模型》https://arxiv.org/abs/2404.14219小结经过基准测试Llama 3 8B和Phi3 3.8B小模型均表现出色。尽管它们的规模较小但它们所采用的优化方法却具有一定的相似性。对于大型模型的性能表现关键因素在于框架、数据和参数。鉴于参数规模较小因此在如此小的参数下使用MOE框架并无实际意义。因此这些模型主要在数据上投入大量精力通过提高数据的数量或质量来优化小模型的性能。这为未来精简大型模型提供了重要的方向。二、电脑部署的流程首先介绍下大模型部署利器Ollama支持Llama 3、Mistral、Gemma等大型语言模型。部署大模型只需两步下载并安装Ollama然后运行大模型。以Windows为例从官网或文末下载Ollama一键安装即可。官网下载链接 https://github.com/ollama/ollama安装完Ollama后然后打开命令行运行命令【ollama run llama3】 就可以下载并运行llama3大模型了其他模型的运行命令如上初次下载模型的会比较慢下载完就可以愉快地对话了。Ollama还支持其他功能如图片等多模态输入、传入提示词调教模型等具体可以看下文档。三、手机部署的流程与电脑相比手机部署大模型意义更大因为手机与生活更紧密且手机上有大量个人数据便于后续交互。现在很多人都有闲置手机如果性能足够运行大模型很有吸引力。我的旧手机是小米8性能还可以。手机上部署麻烦一些类似于电脑部署需要安装配置Linux环境。虽然安卓底层基于Linux内核但重装Linux很难。不过我发现了一个神器Termux可以在Android设备上运行许多Linux命令和工具。你可以从F-Droid官网下载安装Termux。官网下载链接https://github.com/termux/termux-app/releases安装后打开Termux如下图。如有要打开多个Linux窗口左上角右滑点击New session就可以。要在手机上部署大模型使用TermuxOllama就成了。首先通过Termux的proot-distro功能可以方便地安装一个Linux系统如Ubuntu、Debian或Arch Linux。这样在Android设备上就能拥有完整的Linux环境以安装和运行Linux软件包。//先来安装proot-distro pkg install proot-distro//使用proot-distro安装一个debian proot-distro install debian//安装成功后通过login命令就直接进入debian为发行版启动一个root shell proot-distro login debian第二步同电脑的流程安装Ollama下载及运行大模型。//进入之后再来安装ollama curl-fsSL https://ollama.com/install.sh|sh//安装完毕可以查看ollama版本进行验证出现版本号之后就可以使用ollama ollama-v//后台开启ollama服务 nohup ollama serve//运行大模型其他模型的命令如下图可通过ollamalist查看模型 ollama run phi3第一次要下载安装软件及大模型会比较慢弄个一小时是要的。安装完了后面都可以直接使用。只要运行login debian系统、Ollama服务、运行大模型后就可以使用了。在手机上编写代码有种独特的魅力。虽然简陋但一行行输入代码看着屏幕上的输出感觉非常酷。安装远程软件如Tailscale或todesk用电脑编写代码更有趣。但需要注意如果算力受限大模型回复较慢同时手机也会更耗电。四、本地大模型的体验模型表现大模型表现权威的数据可以看一些相关的测评比如下图。在此我对手机本地部署的两个大型模型llama3和Phi3进行了简要的测试并分享了我的个人体验。总体而言llama3在各项表现中展现出更为稳定的特性而Phi虽然有时会出现差错但其响应速度却更胜一筹使我在综合体验上觉得Phi更为出色。响应速度受限于手机或电脑的性能如果电脑配备了GPU响应可能会更为流畅。然而在手机上的回复确实显得有些迟缓有时甚至需要等待几分钟才能得到几个字的回应。值得注意的是Phi3的回应速度明显快于llama3。尽管llama3的8B模型规模几乎是Phi3的3.8B模型规模的两倍。中文能力方面这些开源模型确实存在一定的短板。当提问一些不常见的问题时模型在回答过程中可能会突然转向英文。此外很多中文表达模糊不清导致它们讲述的笑话内容也显得尴尬。这主要是因为高质量的中文数据集远远无法与英文数据集相提并论这一数据层面的差异在未来很可能会进一步凸显。在中文任务方面我觉得llama的表现会比Phi3更为出色。如果你有兴趣还可以尝试llama的中文变种——llama3-Chinese。llama3phi3**代码能力**看着都有模有样的但还是可以看出来Phi3有一些语法错误。llama3phi3**数学推理**看着都还不错Phi3感觉更好些。llama3phi3**安全性**都有不错的合规意识llama3phi3五、结语尽管当前AI的落地应用尚显稀疏但技术的成长毕竟需要时间大型模型的高昂推理成本无疑是其普及的桎梏。然而**正是小模型如Llama 3和Phi3的崭露头角让我们看到了大模型实用化的曙光。**虽然小模型的训练成本较高但其低廉的推理成本却为整体经济带来显著的节省特别是在为海量用户提供服务时高性能的小模型更让AI挣脱了成本的束缚灵活应用于各种场景。想象一下能够根据自身需求在本地部署定制化的AI其魅力不言而喻展望未来相信随着模型优化和定制AI芯片等技术带来的算力提升更多“小而美”的AI大模型将逐渐融入我们的日常生活让我们感受AI带来的变革本文到此为止大家玩的愉快别忘了点赞哦最后的最后感谢你们的阅读和喜欢作为一位在一线互联网行业奋斗多年的老兵我深知在这个瞬息万变的技术领域中持续学习和进步的重要性。为了帮助更多热爱技术、渴望成长的朋友我特别整理了一份涵盖大模型领域的宝贵资料集。这些资料不仅是我多年积累的心血结晶也是我在行业一线实战经验的总结。这些学习资料不仅深入浅出而且非常实用让大家系统而高效地掌握AI大模型的各个知识点。如果你愿意花时间沉下心来学习相信它们一定能为你提供实质性的帮助。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】大模型知识脑图为了成为更好的 AI大模型 开发者这里为大家提供了总的路线图。它的用处就在于你可以按照上面的知识点去找对应的学习资源保证自己学得较为全面。经典书籍阅读阅读AI大模型经典书籍可以帮助读者提高技术水平开拓视野掌握核心技术提高解决问题的能力同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说阅读经典书籍是非常有必要的。实战案例光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。面试资料我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
