OpenAI Privacy Filter代码深潜BIOES约束Viterbi解码与6个转移偏置参数剖析【免费下载链接】privacy-filterOpenAI Privacy Filter项目地址: https://gitcode.com/gh_mirrors/pr/privacy-filter本文剖析OpenAI Privacy Filter一个用于 PII 个人信息检测与遮蔽的隐私过滤模型的核心解码栈BIOES 约束的 Viterbi 解码以及控制其行为的 6 个转移偏置参数。面向新手不堆砌大量代码带你读懂每个 token 的概率是如何变成一段段稳定、连续的隐私区间的以及如何用校准文件精细调节精度与召回的平衡。一、OpenAI Privacy Filter 是什么30 秒速览Privacy Filter 是一个双向 token 分类模型它不像传统大模型那样逐词生成文本而是一次前向传播就为整段文本的每个 token 打分再经约束解码输出隐私片段。核心卖点见 README.md小模型高吞吐总参数 1.5B、激活参数仅 50M笔记本甚至浏览器都能跑128K 长上下文长文档无需切块一次处理️运行时可调通过预设工作点配置精度/召回权衡可微调数据高效的 fine-tuning 流程参考 FINETUNING.md。模型默认识别8 类隐私片段类别含义类别含义private_person人名private_url私密链接private_email私人邮箱private_date私密日期private_phone私人电话account_number账号/卡号private_address私人地址secret密钥/凭证二、BIOES 标签体系8 个隐私类别如何变成 33 个 token 级类别这是理解解码的关键一步。对每个隐私类别模型都会展开 4 种边界标签再加一个背景类OBegin片段开始Inside片段中间End片段结束Single单 token 片段O非实体背景以默认v2标签表为例label_space.py#L17-L278 个类别展开后1 8 × 4 33个输出类别。因此输出头对每个 token 输出 33 个 logits序列长度为 T 时形状为[T, 33]。标签展开逻辑就在_expand_with_boundary_markers函数中label_space.py#L77-L85而LabelInfo查找表由 sequence_labeling.py 的build_label_info构建它记录了每个 token 类别对应的边界标记和片段类别——这正是解码器做约束判断的字典。 类比BIOES 就像给每个隐私片段加了左括号、右括号和单字符的语法让模型不仅要猜是不是隐私还要猜它是片段的哪个位置。三、为什么不能逐 token 取 argmax——BIOES 约束 Viterbi 解码登场如果每个 token 独立取概率最大的类别会出现大量非法序列比如I-private_person中间前面没有B-开头或两个片段类别互相穿插。这类碎片化边界在混合格式文本中尤其常见。因此项目采用约束 Viterbi 解码器ViterbiCRFDecoderdecoding.py#L131-L190思路分三步预计算三张分数表初始化时一次性完成start_scores/end_scores只有B、S或O能合法开头只有E、S或O能合法结尾transition_scores33×33 的转移矩阵非法转移如B直接跳I-其他类别被置为-1e9直接屏蔽合法转移则填入对应的转移偏置下一节详解。前向扫描decode方法decoding.py#L270-L319对每个位置计算历史最优累计分 转移分 当前 token 对数概率并记录 backpointer回溯指针。反向回溯从最优结尾标签沿 backpointer 一路走回得到全局最优的标签路径。合法性判断由_is_valid_transitiondecoding.py#L235-L268实现B/I之后只能接同类别的I/EE/S之后只能回到O或开启新的B/S。这就是标题里BIOES 约束四字的含义——解码器从结构上杜绝了畸形片段。 全局路径优化的收益每个 token 的决策不再只看局部 logits而是依赖序列级结构边界更稳定、片段更连贯。批量推理时decode_many/_decode_many_cuda_batchdecoding.py#L321-L454会把多条序列打包成 CUDA 批处理用int16压缩 backpointer 节省显存并通过active掩码跳过已结束序列最大化吞吐。四、6 个转移偏置参数逐一剖析VITERBI_BIAS_KEYS在 decoding.py#L18-L25 定义了全部 6 个参数赋值逻辑集中在_transition_biasdecoding.py#L192-L233。它们本质上是给某类状态跳转加的固定加减分参数触发的转移作用调大的效果transition_bias_background_stayO→O背景持续性更倾向判定为无隐私精度↑transition_bias_background_to_startO→B/S进入片段的门槛更容易开启新片段召回↑transition_bias_inside_to_continueB/I→I同类别片段延续片段倾向拉得更长transition_bias_inside_to_endB/I→E同类别片段收束更容易结束当前片段transition_bias_end_to_backgroundE/S→O片段闭合后回归背景片段与背景间隔更清晰transition_bias_end_to_startE/S→B/S片段间边界交接倾向输出首尾相接的连续片段六个参数组合出两大调节方向偏精度保守调高background_stay、调低background_to_start→ 只遮蔽高置信区间减少误伤公开实体和常见名词️偏召回激进调低background_stay、调高background_to_start与inside_to_continue→ 遮蔽更宽、更连续适合对漏检零容忍的敏感场景。这正是 README 所说Runtime control通过预设工作点配置精度/召回权衡的代码级实现。五、偏置值从哪来viterbi_calibration.json 的解析机制偏置并非写死在代码里而是来自校准工件calibration artifact解析链路如下自动发现默认读取checkpoint/viterbi_calibration.json文件名常量见 decoding.py#L26显式覆盖CLI 可用--viterbi-calibration-path指定任意本地 JSON 文件参数定义见 common.py#L122-L133兜底策略两者都没有时全部 6 个偏置置 0zero_viterbi_transition_biasesdecoding.py#L36-L38即纯结构约束、无先验偏好。统一入口是resolve_viterbi_transition_biasesdecoding.py#L457-L476最终由build_sequence_decoder按--decode-mode决定构建 Viterbi 解码器还是退化为 argmaxdecoding.py#L479-L497。工件 JSON 必须严格匹配operating_points.default.biases结构且恰好包含 6 个键多一个少一个都会被_validate_exact_keys拒绝——这种精确键校验在 decoding.py#L67-L81 实现避免脏配置悄悄生效。六、解码之后的最后一公里token 标签 → 字符区间Viterbi 输出的是 token 级标签 id最终还要变成可展示、可替换的字符区间相关工具都在 spf/_core 同级的 spans 模块labels_to_spansspans.py#L124-L220按 B/I/E/S 规则把标签序列折叠为(类别, 起点, 终点)片段token_spans_to_char_spansspans.py#L223-L240借助 tiktoken 的分词字节边界把 token 下标换算成原文字符偏移trim_char_spans_whitespacespans.py#L243-L258去掉片段首尾空白遮蔽更干净discard_overlapping_spans_by_labelspans.py#L83-L110可选的同类别重叠片段去重。输出如何呈现typed / redacted 两种模式可参考 EVAL_AND_OUTPUT_MODES.md 与 OUTPUT_SCHEMAS.md。七、快速上手3 条命令体验 BIOES 约束解码安装后pip install -e .三条命令即可完整体验# 1. 单条文本脱敏默认 viterbi 解码 opf Alice was born on 1990-01-02. # 2. 对比关闭约束解码的效果 opf --decode-mode argmax Alice was born on 1990-01-02. # 3. 用示例数据集跑评估 opf eval examples/data/sample_eval_five_examples.jsonl其中--decode-mode viterbi为默认值common.py#L73-L80示例数据集为合成数据见 examples/data/README.md。八、小结一套约束 六个旋钮撑起稳定的隐私遮蔽BIOES 约束33 类 转移合法性表从结构上杜绝畸形片段Viterbi 全局优化让每个 token 的决策依赖整句结构边界更稳定6 个转移偏置参数就是精度/召回的六维旋钮通过viterbi_calibration.json注入无工件时自动归零解码产物经 spf 模块 转为字符区间即可直接用于脱敏或导出。如果你想微调出更符合团队政策的边界风格可继续阅读 FINETUNING.md 与示例脚本 finetune_secret_demo.sh。【免费下载链接】privacy-filterOpenAI Privacy Filter项目地址: https://gitcode.com/gh_mirrors/pr/privacy-filter创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
OpenAI Privacy Filter代码深潜BIOES约束Viterbi解码与6个转移偏置参数剖析【免费下载链接】privacy-filterOpenAI Privacy Filter项目地址: https://gitcode.com/gh_mirrors/pr/privacy-filter本文剖析OpenAI Privacy Filter一个用于 PII 个人信息检测与遮蔽的隐私过滤模型的核心解码栈BIOES 约束的 Viterbi 解码以及控制其行为的 6 个转移偏置参数。面向新手不堆砌大量代码带你读懂每个 token 的概率是如何变成一段段稳定、连续的隐私区间的以及如何用校准文件精细调节精度与召回的平衡。一、OpenAI Privacy Filter 是什么30 秒速览Privacy Filter 是一个双向 token 分类模型它不像传统大模型那样逐词生成文本而是一次前向传播就为整段文本的每个 token 打分再经约束解码输出隐私片段。核心卖点见 README.md小模型高吞吐总参数 1.5B、激活参数仅 50M笔记本甚至浏览器都能跑128K 长上下文长文档无需切块一次处理️运行时可调通过预设工作点配置精度/召回权衡可微调数据高效的 fine-tuning 流程参考 FINETUNING.md。模型默认识别8 类隐私片段类别含义类别含义private_person人名private_url私密链接private_email私人邮箱private_date私密日期private_phone私人电话account_number账号/卡号private_address私人地址secret密钥/凭证二、BIOES 标签体系8 个隐私类别如何变成 33 个 token 级类别这是理解解码的关键一步。对每个隐私类别模型都会展开 4 种边界标签再加一个背景类OBegin片段开始Inside片段中间End片段结束Single单 token 片段O非实体背景以默认v2标签表为例label_space.py#L17-L278 个类别展开后1 8 × 4 33个输出类别。因此输出头对每个 token 输出 33 个 logits序列长度为 T 时形状为[T, 33]。标签展开逻辑就在_expand_with_boundary_markers函数中label_space.py#L77-L85而LabelInfo查找表由 sequence_labeling.py 的build_label_info构建它记录了每个 token 类别对应的边界标记和片段类别——这正是解码器做约束判断的字典。 类比BIOES 就像给每个隐私片段加了左括号、右括号和单字符的语法让模型不仅要猜是不是隐私还要猜它是片段的哪个位置。三、为什么不能逐 token 取 argmax——BIOES 约束 Viterbi 解码登场如果每个 token 独立取概率最大的类别会出现大量非法序列比如I-private_person中间前面没有B-开头或两个片段类别互相穿插。这类碎片化边界在混合格式文本中尤其常见。因此项目采用约束 Viterbi 解码器ViterbiCRFDecoderdecoding.py#L131-L190思路分三步预计算三张分数表初始化时一次性完成start_scores/end_scores只有B、S或O能合法开头只有E、S或O能合法结尾transition_scores33×33 的转移矩阵非法转移如B直接跳I-其他类别被置为-1e9直接屏蔽合法转移则填入对应的转移偏置下一节详解。前向扫描decode方法decoding.py#L270-L319对每个位置计算历史最优累计分 转移分 当前 token 对数概率并记录 backpointer回溯指针。反向回溯从最优结尾标签沿 backpointer 一路走回得到全局最优的标签路径。合法性判断由_is_valid_transitiondecoding.py#L235-L268实现B/I之后只能接同类别的I/EE/S之后只能回到O或开启新的B/S。这就是标题里BIOES 约束四字的含义——解码器从结构上杜绝了畸形片段。 全局路径优化的收益每个 token 的决策不再只看局部 logits而是依赖序列级结构边界更稳定、片段更连贯。批量推理时decode_many/_decode_many_cuda_batchdecoding.py#L321-L454会把多条序列打包成 CUDA 批处理用int16压缩 backpointer 节省显存并通过active掩码跳过已结束序列最大化吞吐。四、6 个转移偏置参数逐一剖析VITERBI_BIAS_KEYS在 decoding.py#L18-L25 定义了全部 6 个参数赋值逻辑集中在_transition_biasdecoding.py#L192-L233。它们本质上是给某类状态跳转加的固定加减分参数触发的转移作用调大的效果transition_bias_background_stayO→O背景持续性更倾向判定为无隐私精度↑transition_bias_background_to_startO→B/S进入片段的门槛更容易开启新片段召回↑transition_bias_inside_to_continueB/I→I同类别片段延续片段倾向拉得更长transition_bias_inside_to_endB/I→E同类别片段收束更容易结束当前片段transition_bias_end_to_backgroundE/S→O片段闭合后回归背景片段与背景间隔更清晰transition_bias_end_to_startE/S→B/S片段间边界交接倾向输出首尾相接的连续片段六个参数组合出两大调节方向偏精度保守调高background_stay、调低background_to_start→ 只遮蔽高置信区间减少误伤公开实体和常见名词️偏召回激进调低background_stay、调高background_to_start与inside_to_continue→ 遮蔽更宽、更连续适合对漏检零容忍的敏感场景。这正是 README 所说Runtime control通过预设工作点配置精度/召回权衡的代码级实现。五、偏置值从哪来viterbi_calibration.json 的解析机制偏置并非写死在代码里而是来自校准工件calibration artifact解析链路如下自动发现默认读取checkpoint/viterbi_calibration.json文件名常量见 decoding.py#L26显式覆盖CLI 可用--viterbi-calibration-path指定任意本地 JSON 文件参数定义见 common.py#L122-L133兜底策略两者都没有时全部 6 个偏置置 0zero_viterbi_transition_biasesdecoding.py#L36-L38即纯结构约束、无先验偏好。统一入口是resolve_viterbi_transition_biasesdecoding.py#L457-L476最终由build_sequence_decoder按--decode-mode决定构建 Viterbi 解码器还是退化为 argmaxdecoding.py#L479-L497。工件 JSON 必须严格匹配operating_points.default.biases结构且恰好包含 6 个键多一个少一个都会被_validate_exact_keys拒绝——这种精确键校验在 decoding.py#L67-L81 实现避免脏配置悄悄生效。六、解码之后的最后一公里token 标签 → 字符区间Viterbi 输出的是 token 级标签 id最终还要变成可展示、可替换的字符区间相关工具都在 spf/_core 同级的 spans 模块labels_to_spansspans.py#L124-L220按 B/I/E/S 规则把标签序列折叠为(类别, 起点, 终点)片段token_spans_to_char_spansspans.py#L223-L240借助 tiktoken 的分词字节边界把 token 下标换算成原文字符偏移trim_char_spans_whitespacespans.py#L243-L258去掉片段首尾空白遮蔽更干净discard_overlapping_spans_by_labelspans.py#L83-L110可选的同类别重叠片段去重。输出如何呈现typed / redacted 两种模式可参考 EVAL_AND_OUTPUT_MODES.md 与 OUTPUT_SCHEMAS.md。七、快速上手3 条命令体验 BIOES 约束解码安装后pip install -e .三条命令即可完整体验# 1. 单条文本脱敏默认 viterbi 解码 opf Alice was born on 1990-01-02. # 2. 对比关闭约束解码的效果 opf --decode-mode argmax Alice was born on 1990-01-02. # 3. 用示例数据集跑评估 opf eval examples/data/sample_eval_five_examples.jsonl其中--decode-mode viterbi为默认值common.py#L73-L80示例数据集为合成数据见 examples/data/README.md。八、小结一套约束 六个旋钮撑起稳定的隐私遮蔽BIOES 约束33 类 转移合法性表从结构上杜绝畸形片段Viterbi 全局优化让每个 token 的决策依赖整句结构边界更稳定6 个转移偏置参数就是精度/召回的六维旋钮通过viterbi_calibration.json注入无工件时自动归零解码产物经 spf 模块 转为字符区间即可直接用于脱敏或导出。如果你想微调出更符合团队政策的边界风格可继续阅读 FINETUNING.md 与示例脚本 finetune_secret_demo.sh。【免费下载链接】privacy-filterOpenAI Privacy Filter项目地址: https://gitcode.com/gh_mirrors/pr/privacy-filter创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
智能体？)
