学习目标
在备考阿里云大模型高级工程师ACP认证时，学习《2.1用大模型构建新人答疑机器人》这部分内容，主要是为了掌握利用大模型技术构建高效答疑机器人的方法，提升在大模型应用开发领域的专业能力。具体目标如下：
- 掌握大模型API调用：学会通过API调用通义千问大模型，熟悉调用过程中的环境配置、API Key管理以及代码实现，能够在自己的应用中集成大模型能力。
- 理解大模型工作原理：深入了解大模型在问答场景中的工作流程，包括输入文本分词化、Token向量化、大模型推理、输出Token和输出文本等阶段，同时掌握影响大模型内容生成的随机性参数，如temperature、top_p、top_k和seed的作用及调整方法。
- 解决大模型应用问题：找到让大模型能够回答私域知识问题的方案，理解检索增强式生成（RAG）的原理和应用，学会在实际应用中优化大模型的表现，提高答疑机器人的准确性和实用性。
知识点汇总
| 小标题 | 知识内容 | 重要性 | 学习难易度 |
|---|---|---|---|
| 大模型API调用 | - 在阿里云大模型服务平台百炼开通模型调用服务并创建API Key。 - 避免在代码中明文写入API Key，应存储在环境变量中。 - 使用OpenAI Python SDK调用通义千问，如创建“公司小蜜”助手回答公司运营问题。 - 添加stream = true参数实现流式输出，提升交互体验。 | 高 | 中 |
| 大模型工作原理 | - 问答工作流程： 1. 输入文本分词化：将文本分割成具有独立语义的Token并分配ID。 2. Token向量化：转化为计算机能理解的向量。 3. 大模型推理：结合训练数据推测，计算候选Token概率并选择输出。 4. 输出Token：存在随机性，可通过temperature、top_p等调整。 5. 输出文本：循环上述过程直至结束条件满足。 - temperature：调整候选Token集合概率分布，取值范围[0, 2)，默认值0.7。 - top_p：控制候选Token集合采样范围，取值范围(0,1]，默认值0.8。 - top_k：从概率排名前k的Token中随机选择一个进行输出，类似top_p的能力。一般来说，top_k越大，生成内容越多样化；top_k越小，内容则更固定。 - seed：支持控制生成内容的确定性，在每次模型调用时传入相同的seed值，并保持其他参数不变，模型会尽最大可能返回相同结果，但无法保证每次结果完全一致。 - 多个参数不建议同时调整，优先调整其中一种参数观察效果后再微调。 | 高 | 高 |
| 解决私域知识问答问题 | - 方案选择： 1. 不改变模型，在提问时直接传入私域知识参考信息。 2. 改变模型，通过微调和训练新模型实现。 - 优先选择：考虑成本，优先通过提示词传递私域知识。 - 检索增强式生成（RAG）： 1. 建立索引阶段：将私有知识文档转化为可检索形式，便于相似度计算。 2. 检索与生成阶段：根据提问检索相关文档片段，与提问一起输入大模型生成回答。 | 高 | 中 |
拉重点
大模型API调用的安全与优化
大模型API调用时，API Key的安全管理是重中之重。直接在代码里写API Key，很容易泄露，后续改起来也麻烦。把它存到环境变量里，才更安全方便。要是在实际开发中忽略了这点，API Key一旦泄露，应用安全就危险了。还有流式输出这个功能