简介这份人工智能重点词汇表以doc文档形式呈现面向人工智能初学者、备考学生及需要梳理基础概念的从业者帮助读者系统建立AI理论框架解决术语零散、概念混淆的问题。资源包共1个doc文件约29KB内容按条目编号组织涵盖图灵试验、归结原理、命题与范式、Skolem标准形、一阶逻辑、置换与归类、支撑集、语义树、不确定性推理、贝叶斯定理与贝叶斯网、知识表示、知识库与推理机、产生式系统、语义网络、框架与对象、学习及符号处理技术等核心词汇每条均给出简明定义与要点说明。目前已有131人学习下载。读者可将其作为术语速查手册用于课程复习、论文写作或面试准备快速定位关键概念并理解其逻辑关联也可配合教材按编号顺序逐条研读形成对人工智能基础理论的整体认知。1. 人工智能重点词汇表从术语黑匣子到能上手查的速查手册刚入行做算法工程时我最怕的不是写模型而是开会。产品经理说“这个场景要做多模态对齐”后端说“推理延迟卡在 KV Cache 上”数据标注的同学问“这个样本算不算长尾”。每个字都认识连起来就是听不懂。后来我养成了一个习惯手边永远放一份自己维护的人工智能重点词汇表遇到新词就补进去标注清楚它属于哪个子领域、和哪些词容易混、在代码里对应哪个 API。这份词汇表不是背单词用的它是排查问题的索引——当你听到一个陌生术语能立刻定位到它属于训练、推理、数据还是部署环节就知道该翻哪块代码、查哪个参数。这篇文章面向三类人刚转方向想系统梳理术语的工程师、带团队需要统一沟通语言的 Tech Lead、以及准备面试或考试需要快速过一遍核心概念的学生。我会把这份词汇表怎么建、怎么分类、怎么和实际代码挂钩讲清楚让你能照着做一份自己的版本。2. 人工智能重点词汇表怎么分类按生命周期切比按字母排更管用2.1 为什么字母序词汇表在实战中几乎没用我见过不少人把术语按 A-Z 排结果查“Attention”要翻到 A 开头查“Transformer”翻到 T查“梯度消失”又得去 G。这种排法只适合考试默写不适合工程排查。真正好用的分类逻辑是按机器学习项目生命周期来切问题定义、数据准备、特征工程、模型训练、评估调优、部署推理、监控迭代。每个阶段有自己的核心术语而且术语之间有依赖关系。比如你听到“类别不平衡”它属于数据准备阶段解决方案可能涉及重采样、代价敏感学习、Focal Loss这些词应该聚在一起。再比如“量化”和“蒸馏”都属于部署推理阶段的模型压缩手段放在同一组里对比记忆效率最高。我自己的词汇表分七个大类每个大类下再按“概念-指标-方法-工具”四个维度展开。这样当你在代码里看到class_weightbalanced能立刻定位到数据准备阶段的类别不平衡处理方法看到torch.quantization.quantize_dynamic能定位到部署阶段的量化技术。分类不是为了好看是为了缩短从“听到词”到“找到代码位置”的时间。2.2 七个一级分类与核心词条示例下面这张表是我词汇表的骨架你可以直接拿去当模板。每个分类下列出 5-8 个最高频的词条并标注它在代码中的常见映射。注意这里只列核心词完整版需要你根据自己的技术栈补充。生命周期阶段核心词条示例代码/工具映射问题定义监督学习、无监督学习、强化学习、分类、回归、聚类sklearn 的estimator接口、gym 环境数据准备标注、清洗、缺失值、异常值、类别不平衡、数据泄漏pandas、Great Expectations、imblearn特征工程归一化、标准化、独热编码、嵌入、特征交叉sklearn.preprocessing、Featuretools模型训练损失函数、优化器、学习率、批大小、过拟合、正则化PyTorchnn.Module、optim、DataLoader评估调优准确率、精确率、召回率、F1、AUC、交叉验证、网格搜索sklearn.metrics、Optuna部署推理量化、蒸馏、剪枝、ONNX、TensorRT、批推理torch.quantization、onnxruntime监控迭代数据漂移、概念漂移、A/B 测试、在线学习Evidently、MLflow这张表的价值在于当你遇到一个陌生术语先判断它属于哪个阶段然后去对应行找相关词。比如“概念漂移”属于监控迭代阶段和它相关的有“数据漂移”“在线学习”“模型重训”。这样你就能把孤立术语串成知识网络而不是背一个个孤立的定义。2.3 用 Python 脚本自动生成词汇表骨架手动维护词汇表容易漏词我一般会写个脚本从已有文档和代码注释里抽取候选术语再人工筛选。下面这个脚本用jieba做中文分词用 TF-IDF 找高频术语输出候选列表。你可以把它跑在自己的技术文档或项目 README 上。import jieba import jieba.analyse from collections import Counter import re # 读取你的技术文档或代码注释集合 def load_corpus(file_paths): corpus [] for path in file_paths: with open(path, r, encodingutf-8) as f: corpus.append(f.read()) return \n.join(corpus) # 抽取候选术语TF-IDF 词性过滤 def extract_terms(text, topK200): # 只保留名词、动名词、英文术语 allow_pos (n, vn, eng, nz) keywords jieba.analyse.extract_tags( text, topKtopK, withWeightTrue, allowPOSallow_pos ) return keywords # 过滤掉单字和纯数字 def filter_terms(keywords): filtered [] for word, weight in keywords: if len(word) 2: continue if re.match(r^\d$, word): continue filtered.append((word, round(weight, 4))) return filtered if __name__ __main__: # 替换成你自己的文档路径列表 docs [doc1.md, doc2.md, notes.txt] corpus load_corpus(docs) candidates extract_terms(corpus, topK300) result filter_terms(candidates) for term, weight in result[:50]: print(f{term}\t{weight})这段代码的逻辑分三步第一步把所有文档拼成一个语料第二步用jieba.analyse.extract_tags基于 TF-IDF 抽关键词allowPOS参数限定只保留名词、动名词和英文术语避免抽到“的”“了”这类虚词第三步过滤掉单字和纯数字。输出结果是“术语 权重”的列表权重越高说明在文档里越重要。你可以把输出粘贴到表格里人工判断哪些该进词汇表、该归到哪个分类。参数topK控制候选数量文档多的时候可以设到 500allowPOS可以根据你的文档特点调整比如技术文档里英文术语多就保留eng。提示这个脚本只做候选抽取不要直接拿输出当最终词汇表。TF-IDF 会漏掉低频但关键的术语也会把一些通用词排前面。人工筛选这一步省不掉。3. 把词汇表变成可检索的本地知识库从 doc 到可查询的 JSON3.1 词汇表的数据结构设计原始标题是“人工智能重点词汇表.doc”但 doc 格式在工程场景里很难用——没法 diff、没法程序化查询、没法做版本控制。我一般会把词汇表转成结构化 JSON每个词条包含这些字段term术语名、category所属生命周期阶段、definition一句话定义、related相关术语列表、code_hint代码中的常见映射、confusable易混淆术语。这样设计的好处是查一个词能顺带看到相关词和易混词形成知识簇。下面是一个词条示例{ term: 过拟合, category: 模型训练, definition: 模型在训练集上表现好但在验证集上表现差的现象通常因为模型复杂度过高或训练数据过少。, related: [正则化, Dropout, 早停, 数据增强], code_hint: PyTorch 中可用 nn.Dropout、weight_decayKeras 中可用 EarlyStopping 回调。, confusable: [欠拟合, 数据泄漏] }这个结构的关键在于confusable字段。很多术语混淆不是因为你不知道定义而是因为两个词在同一个场景里出现但解决方向相反。比如“过拟合”和“数据泄漏”都会导致验证集指标异常好但前者要加正则化后者要检查数据划分逻辑。把易混词放在一起对比比单独背定义有效得多。3.2 用 Python 把 doc 批量转成结构化 JSON如果你手头已经有一份 doc 格式的词汇表可以用python-docx读取段落再按规则解析成 JSON。下面这个脚本假设你的 doc 里每个词条格式是“术语定义”或“术语 - 定义”相关词和代码提示在后续段落里。from docx import Document import json import re def parse_docx(file_path): doc Document(file_path) entries [] current None # 匹配“术语定义”或“术语 - 定义” pattern re.compile(r^(.?)[\-]\s*(.)$) for para in doc.paragraphs: text para.text.strip() if not text: continue match pattern.match(text) if match: # 遇到新词条保存上一个 if current: entries.append(current) current { term: match.group(1).strip(), definition: match.group(2).strip(), category: , related: [], code_hint: , confusable: [] } elif current: # 后续段落作为补充信息 if text.startswith(相关): current[related] [w.strip() for w in text.replace(相关, ).strip(:).split(、)] elif text.startswith(代码): current[code_hint] text.replace(代码, ).strip(:) elif text.startswith(易混): current[confusable] [w.strip() for w in text.replace(易混, ).strip(:).split(、)] if current: entries.append(current) return entries if __name__ __main__: entries parse_docx(人工智能重点词汇表.docx) with open(glossary.json, w, encodingutf-8) as f: json.dump(entries, f, ensure_asciiFalse, indent2) print(f共解析 {len(entries)} 个词条)这段代码的核心逻辑是逐段扫描 doc用正则匹配“术语定义”格式的行作为新词条起点后续以“相关”“代码”“易混”开头的段落分别填充对应字段。参数方面pattern里的[\-]同时匹配中文冒号和短横线你可以根据实际文档格式调整。输出是一个 JSON 数组每个元素是一个词条对象。注意这个脚本假设文档格式比较规整如果 doc 里混有标题、页码、表格需要先做清洗。3.3 用 SQLite 做本地查询按分类和关键词检索JSON 文件适合版本控制但查询不方便。我一般会再导入 SQLite用 SQL 做多条件检索。下面是把 JSON 导入 SQLite 并建索引的脚本。import sqlite3 import json def build_db(json_path, db_pathglossary.db): conn sqlite3.connect(db_path) cur conn.cursor() cur.execute( CREATE TABLE IF NOT EXISTS terms ( id INTEGER PRIMARY KEY AUTOINCREMENT, term TEXT NOT NULL, category TEXT, definition TEXT, related TEXT, code_hint TEXT, confusable TEXT ) ) cur.execute(CREATE INDEX IF NOT EXISTS idx_category ON terms(category)) cur.execute(CREATE INDEX IF NOT EXISTS idx_term ON terms(term)) with open(json_path, r, encodingutf-8) as f: entries json.load(f) for e in entries: cur.execute( INSERT INTO terms (term, category, definition, related, code_hint, confusable) VALUES (?, ?, ?, ?, ?, ?) , ( e[term], e[category], e[definition], 、.join(e.get(related, [])), e.get(code_hint, ), 、.join(e.get(confusable, [])) )) conn.commit() conn.close() print(f导入 {len(entries)} 条记录) if __name__ __main__: build_db(glossary.json)建好库之后你可以用这样的 SQL 查“模型训练”分类下所有和“正则化”相关的词条SELECT term, definition, code_hint FROM terms WHERE category 模型训练 AND (related LIKE %正则化% OR term LIKE %正则化%);这个查询会返回过拟合、Dropout、权重衰减等词条每个都带定义和代码提示。比起翻 doc这种方式在排查问题时快得多。参数方面idx_category和idx_term两个索引能加速按分类和术语名的查询related字段用顿号拼接查询时用LIKE匹配数据量在几千条以内性能足够。4. 词汇表避坑那些年我整理术语时翻过的车4.1 坑一把“相关词”写成同义词导致查询失效现象我在词汇表里把“准确率”和“精确率”标为相关词结果查“准确率”时把“精确率”的词条也带出来但两者定义完全不同反而干扰判断。原因相关词应该分两类——一类是“同领域共现词”如精确率和召回率经常一起出现另一类是“易混淆词”如准确率和精确率容易搞混。我把它们混在一个字段里查询时无法区分。解决拆成related和confusable两个字段。related放共现词用于扩展阅读confusable放易混词用于对比辨析。查询时如果只想看对比就只查confusable字段。4.2 坑二定义写得太学术排查时看不懂现象我一开始把“梯度消失”定义为“反向传播过程中梯度逐层衰减至接近零的现象”结果有次排查 LSTM 不收敛看到这个词条还是不知道该怎么调。原因定义只说了“是什么”没说“怎么判断”和“怎么解决”。工程词汇表需要的是操作线索不是教科书定义。解决每个词条的定义改成三段式——现象描述、判断方法、常见解决方向。比如“梯度消失”改成“训练深层网络时靠近输入层的参数几乎不更新损失下降极慢。判断方法打印各层梯度范数若逐层递减到 1e-6 以下可确认。解决方向换 ReLU、加残差连接、用 BatchNorm、改用 LSTM/GRU。”这样排查时直接照着做。4.3 坑三分类太粗一个词不知道该放哪现象我把“嵌入”放在“模型训练”分类下但做特征工程时也会用到嵌入查的时候要翻两个地方。原因一个术语可能横跨多个阶段强行归一类会导致漏查。解决允许一个词条有多个分类标签用逗号分隔。查询时用LIKE %特征工程%也能命中。或者建一张关联表但简单场景下多标签字段就够了。4.4 坑四忘了标注术语的英文对照看论文时对不上现象我在代码里看到weight_decay知道是权重衰减但看论文时遇到L2 regularization没反应过来是同一个东西。原因词汇表只记了中文没记英文和常见别名。解决加一个aliases字段放英文术语和常见别名。比如“权重衰减”的 aliases 是weight decay, L2 regularization, 岭回归。查询时同时匹配term和aliases。4.5 坑五词汇表不更新三个月后自己都不敢信现象我半年前整理的词汇表最近查“LoRA”发现没有查“RLHF”也没有只能重新翻文档。原因没有固定的更新机制新术语靠临时记忆补补着补着就断了。解决每周花 10 分钟把本周遇到的新术语按模板补进去。模板就是前面 JSON 那六个字段。补完后跑一遍导入脚本更新 SQLite。如果团队用就提交到 Git让其他人也能补。关键是降低补充成本——如果补一个词要填十个字段没人会坚持六个字段、两分钟能填完就能持续。5. 让词汇表反过来帮你排查问题三个实战查询技巧5.1 用“现象”反查术语从报错信息定位知识缺口排查问题时你看到的往往不是术语而是现象。比如“验证集 loss 比训练集低很多”这不是一个术语但背后可能涉及数据泄漏、正则化过强、验证集分布不同等问题。我一般会在词汇表的definition字段里搜现象关键词比如搜“验证集 loss 低”看哪些词条的定义里提到了这个现象。SQL 这样写SELECT term, definition, code_hint FROM terms WHERE definition LIKE %验证集% AND definition LIKE %低%;这个查询会返回数据泄漏、正则化、早停等相关词条每个都带解决方向。比起漫无目的地搜这种方式能快速缩小范围。5.2 用“代码 API”反查术语从函数名定位概念有时候你接手别人的代码看到nn.Dropout(p0.5)但不确定 p 的含义或者看到FocalLoss但不知道它解决什么问题。这时候可以用code_hint字段反查SELECT term, definition, related FROM terms WHERE code_hint LIKE %Dropout% OR code_hint LIKE %FocalLoss%;这个查询会返回 Dropout 和 Focal Loss 的词条以及它们相关的过拟合、类别不平衡等概念。这样你不仅知道 API 怎么用还知道它背后的设计意图。5.3 用“易混词对”做对比复习面试前快速过一遍面试前时间紧不可能背整本词汇表。我一般会查所有confusable字段非空的词条只看易混词对SELECT term, confusable, definition FROM terms WHERE confusable ! ;输出结果里每个词条都带它容易混淆的术语。比如“精确率”的 confusable 是“准确率”“召回率”的 confusable 也是“准确率”。这样你能快速定位到最容易被问混的概念集中复习。我自己的习惯是面试前一晚只过这些易混词对每个词条问自己三个问题定义是什么、和易混词的区别在哪、代码里怎么体现。三个都能答上来基本就稳了。5.4 一个具体技巧用 Anki 把词汇表变成间隔重复卡片如果你需要长期记忆这些术语可以把 JSON 转成 Anki 卡片。下面这个脚本生成 Anki 可导入的 TSV 文件正面是术语背面是定义、相关词和代码提示。import json def json_to_anki(json_path, tsv_pathanki_cards.tsv): with open(json_path, r, encodingutf-8) as f: entries json.load(f) with open(tsv_path, w, encodingutf-8) as f: for e in entries: front e[term] back f定义{e[definition]}br if e.get(related): back f相关{、.join(e[related])}br if e.get(code_hint): back f代码{e[code_hint]}br if e.get(confusable): back f易混{、.join(e[confusable])} # Anki 导入格式正面 TAB 背面 f.write(f{front}\t{back}\n) print(f生成 {len(entries)} 张卡片) if __name__ __main__: json_to_anki(glossary.json)导入 Anki 后每天花 5 分钟过卡片比集中背效率高。参数方面br是 HTML 换行Anki 支持TSV 文件用 UTF-8 编码避免中文乱码。这个脚本生成的卡片正面只有术语背面是完整信息适合主动回忆。如果你用其他间隔重复工具改一下输出格式就行。我自己的习惯是每周日晚上花 15 分钟先跑一遍抽取脚本看有没有新词再手动补几条然后重新导入 SQLite 和 Anki。这个习惯坚持了两年现在开会听到陌生术语基本能当场判断它属于哪个环节、该查哪块代码。词汇表不是背出来的是用出来的。希望帮到你。本文还有配套的精品资源点击获取
简介这份人工智能重点词汇表以doc文档形式呈现面向人工智能初学者、备考学生及需要梳理基础概念的从业者帮助读者系统建立AI理论框架解决术语零散、概念混淆的问题。资源包共1个doc文件约29KB内容按条目编号组织涵盖图灵试验、归结原理、命题与范式、Skolem标准形、一阶逻辑、置换与归类、支撑集、语义树、不确定性推理、贝叶斯定理与贝叶斯网、知识表示、知识库与推理机、产生式系统、语义网络、框架与对象、学习及符号处理技术等核心词汇每条均给出简明定义与要点说明。目前已有131人学习下载。读者可将其作为术语速查手册用于课程复习、论文写作或面试准备快速定位关键概念并理解其逻辑关联也可配合教材按编号顺序逐条研读形成对人工智能基础理论的整体认知。1. 人工智能重点词汇表从术语黑匣子到能上手查的速查手册刚入行做算法工程时我最怕的不是写模型而是开会。产品经理说“这个场景要做多模态对齐”后端说“推理延迟卡在 KV Cache 上”数据标注的同学问“这个样本算不算长尾”。每个字都认识连起来就是听不懂。后来我养成了一个习惯手边永远放一份自己维护的人工智能重点词汇表遇到新词就补进去标注清楚它属于哪个子领域、和哪些词容易混、在代码里对应哪个 API。这份词汇表不是背单词用的它是排查问题的索引——当你听到一个陌生术语能立刻定位到它属于训练、推理、数据还是部署环节就知道该翻哪块代码、查哪个参数。这篇文章面向三类人刚转方向想系统梳理术语的工程师、带团队需要统一沟通语言的 Tech Lead、以及准备面试或考试需要快速过一遍核心概念的学生。我会把这份词汇表怎么建、怎么分类、怎么和实际代码挂钩讲清楚让你能照着做一份自己的版本。2. 人工智能重点词汇表怎么分类按生命周期切比按字母排更管用2.1 为什么字母序词汇表在实战中几乎没用我见过不少人把术语按 A-Z 排结果查“Attention”要翻到 A 开头查“Transformer”翻到 T查“梯度消失”又得去 G。这种排法只适合考试默写不适合工程排查。真正好用的分类逻辑是按机器学习项目生命周期来切问题定义、数据准备、特征工程、模型训练、评估调优、部署推理、监控迭代。每个阶段有自己的核心术语而且术语之间有依赖关系。比如你听到“类别不平衡”它属于数据准备阶段解决方案可能涉及重采样、代价敏感学习、Focal Loss这些词应该聚在一起。再比如“量化”和“蒸馏”都属于部署推理阶段的模型压缩手段放在同一组里对比记忆效率最高。我自己的词汇表分七个大类每个大类下再按“概念-指标-方法-工具”四个维度展开。这样当你在代码里看到class_weightbalanced能立刻定位到数据准备阶段的类别不平衡处理方法看到torch.quantization.quantize_dynamic能定位到部署阶段的量化技术。分类不是为了好看是为了缩短从“听到词”到“找到代码位置”的时间。2.2 七个一级分类与核心词条示例下面这张表是我词汇表的骨架你可以直接拿去当模板。每个分类下列出 5-8 个最高频的词条并标注它在代码中的常见映射。注意这里只列核心词完整版需要你根据自己的技术栈补充。生命周期阶段核心词条示例代码/工具映射问题定义监督学习、无监督学习、强化学习、分类、回归、聚类sklearn 的estimator接口、gym 环境数据准备标注、清洗、缺失值、异常值、类别不平衡、数据泄漏pandas、Great Expectations、imblearn特征工程归一化、标准化、独热编码、嵌入、特征交叉sklearn.preprocessing、Featuretools模型训练损失函数、优化器、学习率、批大小、过拟合、正则化PyTorchnn.Module、optim、DataLoader评估调优准确率、精确率、召回率、F1、AUC、交叉验证、网格搜索sklearn.metrics、Optuna部署推理量化、蒸馏、剪枝、ONNX、TensorRT、批推理torch.quantization、onnxruntime监控迭代数据漂移、概念漂移、A/B 测试、在线学习Evidently、MLflow这张表的价值在于当你遇到一个陌生术语先判断它属于哪个阶段然后去对应行找相关词。比如“概念漂移”属于监控迭代阶段和它相关的有“数据漂移”“在线学习”“模型重训”。这样你就能把孤立术语串成知识网络而不是背一个个孤立的定义。2.3 用 Python 脚本自动生成词汇表骨架手动维护词汇表容易漏词我一般会写个脚本从已有文档和代码注释里抽取候选术语再人工筛选。下面这个脚本用jieba做中文分词用 TF-IDF 找高频术语输出候选列表。你可以把它跑在自己的技术文档或项目 README 上。import jieba import jieba.analyse from collections import Counter import re # 读取你的技术文档或代码注释集合 def load_corpus(file_paths): corpus [] for path in file_paths: with open(path, r, encodingutf-8) as f: corpus.append(f.read()) return \n.join(corpus) # 抽取候选术语TF-IDF 词性过滤 def extract_terms(text, topK200): # 只保留名词、动名词、英文术语 allow_pos (n, vn, eng, nz) keywords jieba.analyse.extract_tags( text, topKtopK, withWeightTrue, allowPOSallow_pos ) return keywords # 过滤掉单字和纯数字 def filter_terms(keywords): filtered [] for word, weight in keywords: if len(word) 2: continue if re.match(r^\d$, word): continue filtered.append((word, round(weight, 4))) return filtered if __name__ __main__: # 替换成你自己的文档路径列表 docs [doc1.md, doc2.md, notes.txt] corpus load_corpus(docs) candidates extract_terms(corpus, topK300) result filter_terms(candidates) for term, weight in result[:50]: print(f{term}\t{weight})这段代码的逻辑分三步第一步把所有文档拼成一个语料第二步用jieba.analyse.extract_tags基于 TF-IDF 抽关键词allowPOS参数限定只保留名词、动名词和英文术语避免抽到“的”“了”这类虚词第三步过滤掉单字和纯数字。输出结果是“术语 权重”的列表权重越高说明在文档里越重要。你可以把输出粘贴到表格里人工判断哪些该进词汇表、该归到哪个分类。参数topK控制候选数量文档多的时候可以设到 500allowPOS可以根据你的文档特点调整比如技术文档里英文术语多就保留eng。提示这个脚本只做候选抽取不要直接拿输出当最终词汇表。TF-IDF 会漏掉低频但关键的术语也会把一些通用词排前面。人工筛选这一步省不掉。3. 把词汇表变成可检索的本地知识库从 doc 到可查询的 JSON3.1 词汇表的数据结构设计原始标题是“人工智能重点词汇表.doc”但 doc 格式在工程场景里很难用——没法 diff、没法程序化查询、没法做版本控制。我一般会把词汇表转成结构化 JSON每个词条包含这些字段term术语名、category所属生命周期阶段、definition一句话定义、related相关术语列表、code_hint代码中的常见映射、confusable易混淆术语。这样设计的好处是查一个词能顺带看到相关词和易混词形成知识簇。下面是一个词条示例{ term: 过拟合, category: 模型训练, definition: 模型在训练集上表现好但在验证集上表现差的现象通常因为模型复杂度过高或训练数据过少。, related: [正则化, Dropout, 早停, 数据增强], code_hint: PyTorch 中可用 nn.Dropout、weight_decayKeras 中可用 EarlyStopping 回调。, confusable: [欠拟合, 数据泄漏] }这个结构的关键在于confusable字段。很多术语混淆不是因为你不知道定义而是因为两个词在同一个场景里出现但解决方向相反。比如“过拟合”和“数据泄漏”都会导致验证集指标异常好但前者要加正则化后者要检查数据划分逻辑。把易混词放在一起对比比单独背定义有效得多。3.2 用 Python 把 doc 批量转成结构化 JSON如果你手头已经有一份 doc 格式的词汇表可以用python-docx读取段落再按规则解析成 JSON。下面这个脚本假设你的 doc 里每个词条格式是“术语定义”或“术语 - 定义”相关词和代码提示在后续段落里。from docx import Document import json import re def parse_docx(file_path): doc Document(file_path) entries [] current None # 匹配“术语定义”或“术语 - 定义” pattern re.compile(r^(.?)[\-]\s*(.)$) for para in doc.paragraphs: text para.text.strip() if not text: continue match pattern.match(text) if match: # 遇到新词条保存上一个 if current: entries.append(current) current { term: match.group(1).strip(), definition: match.group(2).strip(), category: , related: [], code_hint: , confusable: [] } elif current: # 后续段落作为补充信息 if text.startswith(相关): current[related] [w.strip() for w in text.replace(相关, ).strip(:).split(、)] elif text.startswith(代码): current[code_hint] text.replace(代码, ).strip(:) elif text.startswith(易混): current[confusable] [w.strip() for w in text.replace(易混, ).strip(:).split(、)] if current: entries.append(current) return entries if __name__ __main__: entries parse_docx(人工智能重点词汇表.docx) with open(glossary.json, w, encodingutf-8) as f: json.dump(entries, f, ensure_asciiFalse, indent2) print(f共解析 {len(entries)} 个词条)这段代码的核心逻辑是逐段扫描 doc用正则匹配“术语定义”格式的行作为新词条起点后续以“相关”“代码”“易混”开头的段落分别填充对应字段。参数方面pattern里的[\-]同时匹配中文冒号和短横线你可以根据实际文档格式调整。输出是一个 JSON 数组每个元素是一个词条对象。注意这个脚本假设文档格式比较规整如果 doc 里混有标题、页码、表格需要先做清洗。3.3 用 SQLite 做本地查询按分类和关键词检索JSON 文件适合版本控制但查询不方便。我一般会再导入 SQLite用 SQL 做多条件检索。下面是把 JSON 导入 SQLite 并建索引的脚本。import sqlite3 import json def build_db(json_path, db_pathglossary.db): conn sqlite3.connect(db_path) cur conn.cursor() cur.execute( CREATE TABLE IF NOT EXISTS terms ( id INTEGER PRIMARY KEY AUTOINCREMENT, term TEXT NOT NULL, category TEXT, definition TEXT, related TEXT, code_hint TEXT, confusable TEXT ) ) cur.execute(CREATE INDEX IF NOT EXISTS idx_category ON terms(category)) cur.execute(CREATE INDEX IF NOT EXISTS idx_term ON terms(term)) with open(json_path, r, encodingutf-8) as f: entries json.load(f) for e in entries: cur.execute( INSERT INTO terms (term, category, definition, related, code_hint, confusable) VALUES (?, ?, ?, ?, ?, ?) , ( e[term], e[category], e[definition], 、.join(e.get(related, [])), e.get(code_hint, ), 、.join(e.get(confusable, [])) )) conn.commit() conn.close() print(f导入 {len(entries)} 条记录) if __name__ __main__: build_db(glossary.json)建好库之后你可以用这样的 SQL 查“模型训练”分类下所有和“正则化”相关的词条SELECT term, definition, code_hint FROM terms WHERE category 模型训练 AND (related LIKE %正则化% OR term LIKE %正则化%);这个查询会返回过拟合、Dropout、权重衰减等词条每个都带定义和代码提示。比起翻 doc这种方式在排查问题时快得多。参数方面idx_category和idx_term两个索引能加速按分类和术语名的查询related字段用顿号拼接查询时用LIKE匹配数据量在几千条以内性能足够。4. 词汇表避坑那些年我整理术语时翻过的车4.1 坑一把“相关词”写成同义词导致查询失效现象我在词汇表里把“准确率”和“精确率”标为相关词结果查“准确率”时把“精确率”的词条也带出来但两者定义完全不同反而干扰判断。原因相关词应该分两类——一类是“同领域共现词”如精确率和召回率经常一起出现另一类是“易混淆词”如准确率和精确率容易搞混。我把它们混在一个字段里查询时无法区分。解决拆成related和confusable两个字段。related放共现词用于扩展阅读confusable放易混词用于对比辨析。查询时如果只想看对比就只查confusable字段。4.2 坑二定义写得太学术排查时看不懂现象我一开始把“梯度消失”定义为“反向传播过程中梯度逐层衰减至接近零的现象”结果有次排查 LSTM 不收敛看到这个词条还是不知道该怎么调。原因定义只说了“是什么”没说“怎么判断”和“怎么解决”。工程词汇表需要的是操作线索不是教科书定义。解决每个词条的定义改成三段式——现象描述、判断方法、常见解决方向。比如“梯度消失”改成“训练深层网络时靠近输入层的参数几乎不更新损失下降极慢。判断方法打印各层梯度范数若逐层递减到 1e-6 以下可确认。解决方向换 ReLU、加残差连接、用 BatchNorm、改用 LSTM/GRU。”这样排查时直接照着做。4.3 坑三分类太粗一个词不知道该放哪现象我把“嵌入”放在“模型训练”分类下但做特征工程时也会用到嵌入查的时候要翻两个地方。原因一个术语可能横跨多个阶段强行归一类会导致漏查。解决允许一个词条有多个分类标签用逗号分隔。查询时用LIKE %特征工程%也能命中。或者建一张关联表但简单场景下多标签字段就够了。4.4 坑四忘了标注术语的英文对照看论文时对不上现象我在代码里看到weight_decay知道是权重衰减但看论文时遇到L2 regularization没反应过来是同一个东西。原因词汇表只记了中文没记英文和常见别名。解决加一个aliases字段放英文术语和常见别名。比如“权重衰减”的 aliases 是weight decay, L2 regularization, 岭回归。查询时同时匹配term和aliases。4.5 坑五词汇表不更新三个月后自己都不敢信现象我半年前整理的词汇表最近查“LoRA”发现没有查“RLHF”也没有只能重新翻文档。原因没有固定的更新机制新术语靠临时记忆补补着补着就断了。解决每周花 10 分钟把本周遇到的新术语按模板补进去。模板就是前面 JSON 那六个字段。补完后跑一遍导入脚本更新 SQLite。如果团队用就提交到 Git让其他人也能补。关键是降低补充成本——如果补一个词要填十个字段没人会坚持六个字段、两分钟能填完就能持续。5. 让词汇表反过来帮你排查问题三个实战查询技巧5.1 用“现象”反查术语从报错信息定位知识缺口排查问题时你看到的往往不是术语而是现象。比如“验证集 loss 比训练集低很多”这不是一个术语但背后可能涉及数据泄漏、正则化过强、验证集分布不同等问题。我一般会在词汇表的definition字段里搜现象关键词比如搜“验证集 loss 低”看哪些词条的定义里提到了这个现象。SQL 这样写SELECT term, definition, code_hint FROM terms WHERE definition LIKE %验证集% AND definition LIKE %低%;这个查询会返回数据泄漏、正则化、早停等相关词条每个都带解决方向。比起漫无目的地搜这种方式能快速缩小范围。5.2 用“代码 API”反查术语从函数名定位概念有时候你接手别人的代码看到nn.Dropout(p0.5)但不确定 p 的含义或者看到FocalLoss但不知道它解决什么问题。这时候可以用code_hint字段反查SELECT term, definition, related FROM terms WHERE code_hint LIKE %Dropout% OR code_hint LIKE %FocalLoss%;这个查询会返回 Dropout 和 Focal Loss 的词条以及它们相关的过拟合、类别不平衡等概念。这样你不仅知道 API 怎么用还知道它背后的设计意图。5.3 用“易混词对”做对比复习面试前快速过一遍面试前时间紧不可能背整本词汇表。我一般会查所有confusable字段非空的词条只看易混词对SELECT term, confusable, definition FROM terms WHERE confusable ! ;输出结果里每个词条都带它容易混淆的术语。比如“精确率”的 confusable 是“准确率”“召回率”的 confusable 也是“准确率”。这样你能快速定位到最容易被问混的概念集中复习。我自己的习惯是面试前一晚只过这些易混词对每个词条问自己三个问题定义是什么、和易混词的区别在哪、代码里怎么体现。三个都能答上来基本就稳了。5.4 一个具体技巧用 Anki 把词汇表变成间隔重复卡片如果你需要长期记忆这些术语可以把 JSON 转成 Anki 卡片。下面这个脚本生成 Anki 可导入的 TSV 文件正面是术语背面是定义、相关词和代码提示。import json def json_to_anki(json_path, tsv_pathanki_cards.tsv): with open(json_path, r, encodingutf-8) as f: entries json.load(f) with open(tsv_path, w, encodingutf-8) as f: for e in entries: front e[term] back f定义{e[definition]}br if e.get(related): back f相关{、.join(e[related])}br if e.get(code_hint): back f代码{e[code_hint]}br if e.get(confusable): back f易混{、.join(e[confusable])} # Anki 导入格式正面 TAB 背面 f.write(f{front}\t{back}\n) print(f生成 {len(entries)} 张卡片) if __name__ __main__: json_to_anki(glossary.json)导入 Anki 后每天花 5 分钟过卡片比集中背效率高。参数方面br是 HTML 换行Anki 支持TSV 文件用 UTF-8 编码避免中文乱码。这个脚本生成的卡片正面只有术语背面是完整信息适合主动回忆。如果你用其他间隔重复工具改一下输出格式就行。我自己的习惯是每周日晚上花 15 分钟先跑一遍抽取脚本看有没有新词再手动补几条然后重新导入 SQLite 和 Anki。这个习惯坚持了两年现在开会听到陌生术语基本能当场判断它属于哪个环节、该查哪块代码。词汇表不是背出来的是用出来的。希望帮到你。本文还有配套的精品资源点击获取
