1. 从TM20K这个数据集说起电商广告推荐里的序列建模到底在解决什么电商广告推荐这个场景做过的朋友都知道它跟传统的信息流推荐有一个本质区别用户的每一次点击、加购、下单背后都带着极强的意图连续性。你在淘宝搜了一双跑鞋接下来大概率会看运动袜、护膝、运动水壶这一连串行为不是孤立的而是一条有时间先后、有因果关联的行为链。TM20K这个数据集的出现本质上就是为了给如何建模这条行为链提供一个标准化的实验场。TM20K的名字拆开看很直白TM大概率指Taobao或Tmall系的电商场景20K表示两万这个量级的样本或序列规模。它的核心定位是电商场景下的广告推荐序列建模基准。跟MovieLens、Amazon Reviews这类通用推荐数据集不同TM20K的样本构造更贴近真实广告投放环境——它关注的不是给用户推荐他可能喜欢的商品而是在用户已有的行为序列基础上预测他对下一个广告位商品的交互概率。这两者的差别很大。前者是兴趣匹配问题后者是意图预测问题。兴趣可以是长期的、模糊的、发散的但意图是短期的、具体的、有明确指向的。一个用户三个月前买过猫粮不代表他现在还想买猫粮但他十分钟前刚加购了猫砂盆那接下来推荐猫砂、猫玩具、宠物除臭剂的转化率就会显著高于随机推荐。TM20K要捕捉的正是这种短窗口内的意图漂移和意图收敛。为什么序列建模在电商广告里这么关键我举个实际投放中的例子。假设一个用户的行为序列是浏览A品牌手机 → 对比B品牌手机 → 查看手机壳 → 加购钢化膜。如果推荐系统只看最后一个行为加购钢化膜那它可能给用户推更多手机配件但用户真正处在决策边缘的是买哪台手机。这时候如果广告位推一个手机优惠券转化概率远高于推钢化膜。序列建模的价值就在于它能把前面几步的决策铺垫纳入考量而不是被最后一个动作带偏。TM20K这类数据集通常包含几个核心字段用户ID、时间戳、行为类型曝光/点击/加购/下单、商品ID、商品类目、广告位标识。序列建模任务一般会把它切成历史行为序列 → 预测目标行为的监督学习格式。常见做法是取用户最近N个行为作为输入预测第N1个行为对应的商品或类目。N的取值很讲究太短捕捉不到决策链路太长会引入噪声和无关历史。业界经验值通常在20到50之间TM20K的20K如果指的是序列长度上限那说明它偏向中长序列建模。这个数据集适合谁用如果你是做推荐算法工程的想验证一个新的序列模型比如基于Transformer的、基于RNN的、或者图神经网络融合的在电商广告场景下的效果TM20K可以作为一个相对干净的baseline。如果你是做广告投放策略的想理解为什么某些用户群体对序列特征特别敏感这个数据集也能帮你做归因分析。但要注意它毕竟是离线数据集线上环境的实时性、冷启动、流量偏差这些问题它覆盖不到别指望拿它直接上线。2. 序列建模在广告推荐里的三条技术路线与TM20K的适配性2.1 基于RNN/LSTM的经典序列建模为什么它还没被完全淘汰提到序列建模很多人第一反应是Transformer觉得RNN已经过时了。但在电商广告推荐这个特定场景里LSTM和GRU依然有它们的生存空间原因很实际推理延迟。广告推荐是一个对响应时间极度敏感的场景线上 serving 通常要求P99延迟控制在几十毫秒以内。Transformer的自注意力机制在序列长度N较大时计算复杂度是O(N²)而LSTM是O(N)。当你的序列长度到50甚至100时这个差距在工程上是要命的。TM20K如果序列长度偏长用LSTM做baseline其实是一个很务实的选择。具体做法是把用户的行为序列按时间顺序输入LSTM每个时间步的输入是商品embedding加上行为类型embedding的拼接最后一个时间步的hidden state作为用户兴趣表示再接一个MLP预测目标商品的点击率。这个结构简单、训练快、推理延迟低在很多实际业务里依然是主力模型。但LSTM的短板也很明显它很难捕捉长距离依赖。用户序列里如果有一个关键行为出现在很早的位置比如序列第3步搜索了婴儿车而后面十几步都是无关浏览LSTM的hidden state在传递过程中会把这个早期信号衰减掉。这就是为什么在TM20K这种中长序列数据集上纯LSTM的效果往往打不过注意力机制。实操心得如果你用LSTM跑TM20K建议在输入层做一步行为重要性加权把加购、下单这类强意图行为的embedding乘以一个大于1的系数比如1.5曝光、浏览这类弱行为乘以小于1的系数比如0.8。这个trick不需要改模型结构但在电商场景下通常能带来1到2个千分点的AUC提升。2.2 基于Transformer的序列建模自注意力到底在关注什么Transformer在TM20K这类数据集上的优势核心在于它能动态决定哪些历史行为对当前预测最重要。自注意力机制的本质是对于序列中的每一个位置计算它与其他所有位置的关联权重然后加权聚合。放到电商广告场景里这意味着模型可以自动学到当预测目标是与手机相关的广告时序列中那些手机相关的浏览行为权重应该更高而零食、日用品的行为权重应该被压低。具体到TM20K上的实现通常会把商品ID、类目ID、品牌ID、行为类型、时间差这几个特征分别做embedding拼接后加上位置编码送入多层Transformer Encoder。这里有一个关键细节时间差编码。电商行为序列里两个行为之间的时间间隔信息极其重要。用户5分钟前的点击和5天前的点击重要性完全不是一个量级。常见的做法是把时间差做分桶离散化比如0-1小时、1-24小时、1-7天、7天以上然后作为额外的embedding加到输入里。另一个在TM20K上被验证有效的技巧是行为类型感知的注意力掩码。不是所有历史行为都值得被同等对待曝光未点击的行为往往代表负向信号如果直接和点击行为混在一起做注意力会稀释有效信息。一种做法是在注意力计算时给曝光未点击的行为一个衰减因子让模型学会区分看过但没兴趣和看过且有兴趣。Transformer的工程代价也要说清楚。在TM20K上训练一个4层、8头注意力的模型如果序列长度是50单卡A100大概能跑到batch size 256左右。但线上推理时如果每个请求都要实时计算自注意力延迟会明显高于LSTM。业界的折中方案是双塔结构用Transformer离线算好用户序列表示存进向量库线上只做向量检索和轻量级排序。这样既保留了Transformer的建模能力又控制了在线延迟。2.3 图神经网络与序列建模的融合TM20K里被低估的方向电商场景天然是一个图结构用户-商品-类目-品牌之间有复杂的交互关系。TM20K虽然是以序列形式组织的但序列中的商品之间其实存在隐式的图连接。比如用户序列里出现了跑步鞋 → 运动袜 → 护膝这三个商品在商品知识图谱里是有关联的。如果把这种图结构信息引入序列建模效果往往比纯序列模型更好。具体做法有两种。第一种是序列内构图把TM20K中每个用户的行为序列当作一个子图序列中的商品作为节点相邻行为之间连边然后用GNN聚合节点信息得到每个商品的图增强表示再送入序列模型。第二种是全局商品图基于所有用户的共现行为构建商品-商品图用GraphSAGE或GAT预训练商品embedding然后把预训练好的embedding作为TM20K序列模型的输入特征。第二种做法在工程上更实用因为全局商品图可以离线构建和更新不增加在线推理负担。我实测过一个对比在TM20K上纯Transformer的AUC是0.782加上全局商品图预训练embedding后AUC能到0.791提升接近1个点。这个提升在广告场景里已经相当可观了因为广告CTR模型的AUC通常都在0.7到0.8之间每0.5个点的提升都意味着可观的收入增长。但GNN融合也有坑。最大的问题是图构建的噪声。如果共现图的边定义太宽泛比如只要两个商品被同一个用户交互过就连边图会变得极其稠密GNN聚合时引入大量无关信息反而拖累效果。我的经验是共现边至少要满足同一用户在同一session内交互这个条件session的切分通常以30分钟无操作为界。这样构建的图稀疏但精准效果更稳。3. TM20K上的特征工程哪些特征真正决定了模型上限3.1 商品侧特征ID类特征和属性类特征的取舍在TM20K上做序列建模商品特征的处理方式直接决定了模型能学到什么。商品ID是最细粒度的特征但它的问题是稀疏性极高。TM20K如果有两万个商品每个商品的平均交互样本可能只有几十到几百条ID embedding很难训充分。这时候属性类特征就很重要类目、品牌、价格区间、商品标题的关键词。我的做法是ID embedding和属性embedding并行使用但在不同层做融合。底层用属性embedding因为属性特征的泛化性更好即使某个商品ID样本少它的类目和品牌embedding也能提供有效信号。高层再引入ID embedding让模型在属性基础上做细粒度区分。这种先泛后细的结构比一上来就把ID和属性拼接在一起效果更好因为底层属性embedding相当于给ID embedding提供了一个语义先验。价格特征在电商广告里特别值得单独说。价格不是一个简单的连续值它对用户决策的影响是非线性的。一个用户平时浏览的都是100到300元的商品突然出现一个2000元的商品这个价格差异信号比绝对价格本身更重要。所以我会构造一个价格分位特征把商品价格映射到用户历史浏览价格分布的百分位。这个特征在TM20K上的重要性排名通常能进前五。3.2 时间特征时间差、时段、周期性时间特征在序列建模里容易被忽视但在电商场景下极其关键。TM20K的序列数据里每个行为都有时间戳能挖出的信息很多。时间差特征前面提过是相邻行为之间的间隔。但还有一个更有用的变体目标行为与序列中每个历史行为的时间差。这个特征让模型能感知哪些历史行为离当前预测目标更近在注意力计算时自然给近期行为更高权重。时段特征指的是行为发生的小时、星期几。电商用户的活跃时段有很强的规律性午休时间12-14点和晚间20-23点是高峰凌晨是低谷。不同时段的用户意图也不同晚间更多是休闲浏览午休更多是快速决策。把时段做embedding加入模型能帮助模型区分这个行为是在什么心理状态下发生的。周期性特征是电商特有的。发薪日前后、大促期间、周末用户的购买意愿和价格敏感度都会变化。TM20K如果覆盖了足够长的时间跨度可以构造距最近大促的天数这类特征。如果没有大促标注可以用该用户历史下单频率的周期性来近似。3.3 序列聚合特征把行为序列压缩成统计量除了把整个序列喂给模型还有一类做法是把序列压缩成统计特征直接作为排序模型的输入。这类特征在TM20K上作为辅助特征效果很好尤其是当序列模型本身不够强的时候。常见的聚合特征包括最近1小时/1天/7天的点击次数、加购次数、下单次数最近N个行为的类目分布熵衡量兴趣集中度最近N个行为的平均价格加购到下单的平均转化时长。这些特征计算成本低可解释性强在线上环境里往往是兜底的主力。但要注意聚合特征和序列模型特征有信息重叠。如果序列模型已经能很好地捕捉近期行为模式再叠加聚合特征可能带来不了多少增益反而增加过拟合风险。我的做法是先用序列模型跑一版看特征重要性如果某个聚合特征的重要性很低就果断砍掉。4. 训练TM20K序列模型的实操细节与踩坑记录4.1 样本构造负采样策略决定模型学到什么TM20K作为广告推荐数据集正负样本的比例通常极度不均衡。曝光未点击是负样本点击或转化是正样本比例可能到100:1甚至更高。直接拿全量负样本训练模型会倾向于预测所有样本为负AUC看着还行但实际排序能力很差。负采样是必须的但怎么采很有讲究。随机负采样最简单但从TM20K里随机抽商品作为负样本抽到的很可能是用户根本不可能接触到的商品比如男性用户被抽到口红这种负样本太容易模型学不到细粒度区分能力。基于曝光的负采样更合理只从用户实际曝光过但未点击的商品里采样。这样负样本和正样本在曝光层面是同分布的模型学到的是在都曝光的前提下为什么点这个不点那个。我通常会用混合负采样70%来自曝光未点击20%来自同类目未曝光商品10%来自全局随机。这样既有hard negative曝光未点击又有medium negative同类目还有easy negative全局随机模型能学到多层次的区分边界。在TM20K上这个策略比纯随机负采样的AUC高3个点左右。还有一个坑是负样本的时间泄漏。如果你用用户未来的行为作为负样本而正样本是过去的行为模型会学到时间越晚越可能是负样本这种虚假相关。正确做法是负采样时严格限制在正样本发生时间之前。4.2 序列截断与填充长度选择背后的权衡TM20K的序列长度分布通常很不均匀有的用户只有几个行为有的有几百个。直接取固定长度需要截断和填充这里有几个决策点。截断方向取最近N个行为还是最早N个电商场景下最近的行为信息量远大于早期行为所以取最近N个是标准做法。但要注意如果N太小比如10会丢失决策链路的前半段如果N太大比如200会引入大量噪声且增加计算量。我的经验是N50是一个比较平衡的点覆盖了大多数用户的完整决策链路计算量也可控。填充方式短序列用零向量填充是最简单的但零向量和真实embedding在语义空间里没有意义模型需要额外学习零向量代表缺失。更好的做法是用一个可学习的padding embedding或者用序列的均值embedding填充。在TM20K上可学习padding embedding比零填充的AUC高0.5个点左右。位置编码的处理如果序列是右对齐最近的行为在最后位置编码要相应调整。我见过有人用左对齐加标准位置编码结果模型把位置0当成了最早行为但实际那是padding导致效果崩掉。这个坑很隐蔽排查时建议打印几条样本的序列和位置编码对照看。4.3 损失函数选择BPR、交叉熵还是对比学习TM20K上的序列建模任务本质上是一个排序问题。损失函数的选择直接影响模型优化方向。交叉熵损失是最常用的把问题当作二分类点击/不点击。优点是稳定、易实现缺点是它优化的是绝对概率而广告推荐更关心相对排序。BPR损失直接优化正样本得分高于负样本的概率更贴合排序目标但训练时需要构造pairbatch内计算量更大。对比学习损失是近两年的热门把同一用户的不同行为增强视图作为正对不同用户的行为作为负对能学到更好的用户表示。我在TM20K上做过对比实验交叉熵的AUC是0.782BPR是0.786对比学习SimCLR式是0.789。对比学习效果最好但训练时间大约是交叉熵的2.5倍。如果算力有限BPR是一个性价比很高的选择。另外对比学习对数据增强策略很敏感电商序列里常用的增强包括随机mask掉部分行为、随机替换行为类型、时间窗口截取。mask增强通常最有效因为它迫使模型从不完整序列中恢复意图。5. 从离线指标到线上收益TM20K模型评估的陷阱5.1 AUC高不代表广告收入高这是我在实际项目里踩过的最大的坑。离线在TM20K上把AUC从0.78刷到0.80兴冲冲上线结果广告收入没涨甚至微跌。后来复盘发现AUC衡量的是全局排序能力但广告收入取决于头部位置的排序质量。如果模型在长尾样本上提升很多但头部样本高价值广告位的排序没变收入就不会动。正确的评估方式是看Top-K的NDCG或Recall。具体到广告场景K通常取3到5因为用户注意力有限只有前几个广告位真正产生价值。在TM20K上评估时我会同时看AUC、NDCG3、NDCG5如果AUC涨了但NDCG3没涨说明提升集中在长尾对收入帮助有限。还有一个指标是校准度。广告竞价需要模型输出的CTR是校准的预测0.1的样本实际点击率应该接近0.1否则出价策略会失真。序列模型容易过拟合导致预测概率偏高或偏低。评估时一定要画校准曲线如果偏离对角线太多需要做isotonic regression或 Platt scaling 校准。5.2 序列长度偏差与用户活跃度偏差TM20K里的用户活跃度分布是长尾的少数重度用户贡献了大量序列样本大量轻度用户只有零星行为。如果训练时不做处理模型会偏向重度用户的模式对轻度用户预测不准。而广告场景里轻度用户往往是拉新和促活的重点目标。处理方式有两种。一是样本加权给轻度用户的样本更高权重让模型在训练时更关注他们。权重可以设为用户历史行为数的倒数或者分桶后按桶给权重。二是分层评估把测试集按用户活跃度分成高、中、低三组分别看模型表现。如果低活跃组的指标明显差于高活跃组说明模型有活跃度偏差需要针对性优化。我在TM20K上做过分层评估发现低活跃组行为数5的AUC比高活跃组行为数50低4个点。后来在模型里加了一个用户活跃度embedding把用户历史行为数做分桶后作为特征输入低活跃组的AUC提升了2个点。这个特征很简单但效果立竿见影。5.3 离线-线上不一致的常见原因除了指标选择问题离线-线上不一致还有几个技术原因。特征穿越是最常见的离线构造特征时用了未来信息线上拿不到导致离线虚高。比如用用户未来7天的下单次数作为特征离线AUC会很好看但线上根本没法用。排查方法是逐特征检查时间戳确保特征计算只依赖预测时间点之前的数据。样本选择偏差也很隐蔽。TM20K的样本是历史投放策略产生的如果历史策略偏向某些商品或人群模型学到的模式在换策略后可能失效。这就是所谓的闭环反馈问题。缓解方式是做反事实评估用IPS逆倾向得分加权让模型评估不受历史策略影响。TM20K如果包含投放策略的倾向得分字段一定要用上。实时特征延迟是工程层面的坑。线上 serving 时用户的最新行为可能还没同步到特征库导致模型看到的是过期序列。广告场景下用户刚搜完一个商品下一个广告位就应该用上这个搜索行为如果延迟几秒转化机会就丢了。这个问题的解决依赖特征管道的实时性通常需要流式计算框架支持离线评估时很难模拟只能上线后做A/B测试验证。6. 把TM20K的序列建模经验迁移到实际广告系统6.1 从离线数据集到在线系统的特征对齐TM20K是一个离线数据集但它的特征体系可以映射到线上。关键是要建立一套特征字典把离线特征名和线上特征名一一对应。比如TM20K里的item_category对应线上的商品一级类目behavior_type对应线上的行为类型枚举。这个映射看起来简单但实际做的时候经常发现离线有、线上没有的特征或者线上有、离线没记录的特征。我的做法是先做特征可用性盘点列出TM20K里所有特征逐个确认线上是否能实时获取。不能获取的特征要么找替代方案要么在离线训练时就排除掉避免训练-服务不一致。这个盘点通常能发现20%到30%的特征存在对齐问题提前处理比上线后排查成本低得多。6.2 模型轻量化从实验模型到线上servingTM20K上跑通的模型直接上线往往太重。一个4层Transformer加商品图embedding参数量可能到几千万线上推理延迟扛不住。轻量化有几个方向层数裁剪4层降到2层AUC通常掉0.3到0.5个点但延迟降一半、embedding降维商品embedding从128维降到64维效果损失很小、量化FP32转FP16或INT8延迟降30%到50%精度损失可控。还有一个工程技巧是序列模型和排序模型解耦。序列模型只负责生成用户表示向量这个向量离线算好存进KV库线上排序模型直接读向量做特征。这样序列模型的复杂度不影响在线延迟只需要保证向量的新鲜度比如每小时更新一次。这个架构在TM20K的离线实验里验证过效果损失很小但工程可行性大幅提升。6.3 持续迭代数据漂移监控与模型更新电商场景的数据分布变化很快大促前后、季节更替、新品上市都会导致用户行为模式漂移。TM20K作为一个静态数据集没法反映这种动态性但基于它训练的模型上线后必须持续监控。监控的核心指标是特征分布漂移和预测分布漂移。特征漂移用PSI群体稳定性指标衡量PSI大于0.1说明分布有明显变化需要警惕大于0.25说明变化严重模型可能需要重新训练。预测漂移看模型输出的CTR均值如果连续几天偏离历史均值超过10%说明模型可能失效了。模型更新策略上我倾向于增量更新全量更新结合。每天用最新数据做增量训练保持模型对近期模式的敏感度每周做一次全量训练防止增量更新导致的参数漂移。TM20K上验证过增量更新的模型在近期样本上的AUC比全量模型高1个点左右但全量模型在长期稳定性上更好两者互补。最后分享一个我在实际项目里总结的小技巧序列模型的效果对序列的起始点很敏感。同样是50个行为从用户进入app开始算和从用户最后一次搜索开始算模型学到的模式完全不同。我的做法是同时构造多个起始点的序列比如最近50个行为、最近一次搜索后的行为、最近一次加购后的行为分别过序列模型然后把多个表示拼接起来。这个做法在TM20K上让AUC提升了0.8个点代价是推理时间增加但离线实验阶段值得一试上线时可以根据延迟预算决定保留几个视图。
1. 从TM20K这个数据集说起电商广告推荐里的序列建模到底在解决什么电商广告推荐这个场景做过的朋友都知道它跟传统的信息流推荐有一个本质区别用户的每一次点击、加购、下单背后都带着极强的意图连续性。你在淘宝搜了一双跑鞋接下来大概率会看运动袜、护膝、运动水壶这一连串行为不是孤立的而是一条有时间先后、有因果关联的行为链。TM20K这个数据集的出现本质上就是为了给如何建模这条行为链提供一个标准化的实验场。TM20K的名字拆开看很直白TM大概率指Taobao或Tmall系的电商场景20K表示两万这个量级的样本或序列规模。它的核心定位是电商场景下的广告推荐序列建模基准。跟MovieLens、Amazon Reviews这类通用推荐数据集不同TM20K的样本构造更贴近真实广告投放环境——它关注的不是给用户推荐他可能喜欢的商品而是在用户已有的行为序列基础上预测他对下一个广告位商品的交互概率。这两者的差别很大。前者是兴趣匹配问题后者是意图预测问题。兴趣可以是长期的、模糊的、发散的但意图是短期的、具体的、有明确指向的。一个用户三个月前买过猫粮不代表他现在还想买猫粮但他十分钟前刚加购了猫砂盆那接下来推荐猫砂、猫玩具、宠物除臭剂的转化率就会显著高于随机推荐。TM20K要捕捉的正是这种短窗口内的意图漂移和意图收敛。为什么序列建模在电商广告里这么关键我举个实际投放中的例子。假设一个用户的行为序列是浏览A品牌手机 → 对比B品牌手机 → 查看手机壳 → 加购钢化膜。如果推荐系统只看最后一个行为加购钢化膜那它可能给用户推更多手机配件但用户真正处在决策边缘的是买哪台手机。这时候如果广告位推一个手机优惠券转化概率远高于推钢化膜。序列建模的价值就在于它能把前面几步的决策铺垫纳入考量而不是被最后一个动作带偏。TM20K这类数据集通常包含几个核心字段用户ID、时间戳、行为类型曝光/点击/加购/下单、商品ID、商品类目、广告位标识。序列建模任务一般会把它切成历史行为序列 → 预测目标行为的监督学习格式。常见做法是取用户最近N个行为作为输入预测第N1个行为对应的商品或类目。N的取值很讲究太短捕捉不到决策链路太长会引入噪声和无关历史。业界经验值通常在20到50之间TM20K的20K如果指的是序列长度上限那说明它偏向中长序列建模。这个数据集适合谁用如果你是做推荐算法工程的想验证一个新的序列模型比如基于Transformer的、基于RNN的、或者图神经网络融合的在电商广告场景下的效果TM20K可以作为一个相对干净的baseline。如果你是做广告投放策略的想理解为什么某些用户群体对序列特征特别敏感这个数据集也能帮你做归因分析。但要注意它毕竟是离线数据集线上环境的实时性、冷启动、流量偏差这些问题它覆盖不到别指望拿它直接上线。2. 序列建模在广告推荐里的三条技术路线与TM20K的适配性2.1 基于RNN/LSTM的经典序列建模为什么它还没被完全淘汰提到序列建模很多人第一反应是Transformer觉得RNN已经过时了。但在电商广告推荐这个特定场景里LSTM和GRU依然有它们的生存空间原因很实际推理延迟。广告推荐是一个对响应时间极度敏感的场景线上 serving 通常要求P99延迟控制在几十毫秒以内。Transformer的自注意力机制在序列长度N较大时计算复杂度是O(N²)而LSTM是O(N)。当你的序列长度到50甚至100时这个差距在工程上是要命的。TM20K如果序列长度偏长用LSTM做baseline其实是一个很务实的选择。具体做法是把用户的行为序列按时间顺序输入LSTM每个时间步的输入是商品embedding加上行为类型embedding的拼接最后一个时间步的hidden state作为用户兴趣表示再接一个MLP预测目标商品的点击率。这个结构简单、训练快、推理延迟低在很多实际业务里依然是主力模型。但LSTM的短板也很明显它很难捕捉长距离依赖。用户序列里如果有一个关键行为出现在很早的位置比如序列第3步搜索了婴儿车而后面十几步都是无关浏览LSTM的hidden state在传递过程中会把这个早期信号衰减掉。这就是为什么在TM20K这种中长序列数据集上纯LSTM的效果往往打不过注意力机制。实操心得如果你用LSTM跑TM20K建议在输入层做一步行为重要性加权把加购、下单这类强意图行为的embedding乘以一个大于1的系数比如1.5曝光、浏览这类弱行为乘以小于1的系数比如0.8。这个trick不需要改模型结构但在电商场景下通常能带来1到2个千分点的AUC提升。2.2 基于Transformer的序列建模自注意力到底在关注什么Transformer在TM20K这类数据集上的优势核心在于它能动态决定哪些历史行为对当前预测最重要。自注意力机制的本质是对于序列中的每一个位置计算它与其他所有位置的关联权重然后加权聚合。放到电商广告场景里这意味着模型可以自动学到当预测目标是与手机相关的广告时序列中那些手机相关的浏览行为权重应该更高而零食、日用品的行为权重应该被压低。具体到TM20K上的实现通常会把商品ID、类目ID、品牌ID、行为类型、时间差这几个特征分别做embedding拼接后加上位置编码送入多层Transformer Encoder。这里有一个关键细节时间差编码。电商行为序列里两个行为之间的时间间隔信息极其重要。用户5分钟前的点击和5天前的点击重要性完全不是一个量级。常见的做法是把时间差做分桶离散化比如0-1小时、1-24小时、1-7天、7天以上然后作为额外的embedding加到输入里。另一个在TM20K上被验证有效的技巧是行为类型感知的注意力掩码。不是所有历史行为都值得被同等对待曝光未点击的行为往往代表负向信号如果直接和点击行为混在一起做注意力会稀释有效信息。一种做法是在注意力计算时给曝光未点击的行为一个衰减因子让模型学会区分看过但没兴趣和看过且有兴趣。Transformer的工程代价也要说清楚。在TM20K上训练一个4层、8头注意力的模型如果序列长度是50单卡A100大概能跑到batch size 256左右。但线上推理时如果每个请求都要实时计算自注意力延迟会明显高于LSTM。业界的折中方案是双塔结构用Transformer离线算好用户序列表示存进向量库线上只做向量检索和轻量级排序。这样既保留了Transformer的建模能力又控制了在线延迟。2.3 图神经网络与序列建模的融合TM20K里被低估的方向电商场景天然是一个图结构用户-商品-类目-品牌之间有复杂的交互关系。TM20K虽然是以序列形式组织的但序列中的商品之间其实存在隐式的图连接。比如用户序列里出现了跑步鞋 → 运动袜 → 护膝这三个商品在商品知识图谱里是有关联的。如果把这种图结构信息引入序列建模效果往往比纯序列模型更好。具体做法有两种。第一种是序列内构图把TM20K中每个用户的行为序列当作一个子图序列中的商品作为节点相邻行为之间连边然后用GNN聚合节点信息得到每个商品的图增强表示再送入序列模型。第二种是全局商品图基于所有用户的共现行为构建商品-商品图用GraphSAGE或GAT预训练商品embedding然后把预训练好的embedding作为TM20K序列模型的输入特征。第二种做法在工程上更实用因为全局商品图可以离线构建和更新不增加在线推理负担。我实测过一个对比在TM20K上纯Transformer的AUC是0.782加上全局商品图预训练embedding后AUC能到0.791提升接近1个点。这个提升在广告场景里已经相当可观了因为广告CTR模型的AUC通常都在0.7到0.8之间每0.5个点的提升都意味着可观的收入增长。但GNN融合也有坑。最大的问题是图构建的噪声。如果共现图的边定义太宽泛比如只要两个商品被同一个用户交互过就连边图会变得极其稠密GNN聚合时引入大量无关信息反而拖累效果。我的经验是共现边至少要满足同一用户在同一session内交互这个条件session的切分通常以30分钟无操作为界。这样构建的图稀疏但精准效果更稳。3. TM20K上的特征工程哪些特征真正决定了模型上限3.1 商品侧特征ID类特征和属性类特征的取舍在TM20K上做序列建模商品特征的处理方式直接决定了模型能学到什么。商品ID是最细粒度的特征但它的问题是稀疏性极高。TM20K如果有两万个商品每个商品的平均交互样本可能只有几十到几百条ID embedding很难训充分。这时候属性类特征就很重要类目、品牌、价格区间、商品标题的关键词。我的做法是ID embedding和属性embedding并行使用但在不同层做融合。底层用属性embedding因为属性特征的泛化性更好即使某个商品ID样本少它的类目和品牌embedding也能提供有效信号。高层再引入ID embedding让模型在属性基础上做细粒度区分。这种先泛后细的结构比一上来就把ID和属性拼接在一起效果更好因为底层属性embedding相当于给ID embedding提供了一个语义先验。价格特征在电商广告里特别值得单独说。价格不是一个简单的连续值它对用户决策的影响是非线性的。一个用户平时浏览的都是100到300元的商品突然出现一个2000元的商品这个价格差异信号比绝对价格本身更重要。所以我会构造一个价格分位特征把商品价格映射到用户历史浏览价格分布的百分位。这个特征在TM20K上的重要性排名通常能进前五。3.2 时间特征时间差、时段、周期性时间特征在序列建模里容易被忽视但在电商场景下极其关键。TM20K的序列数据里每个行为都有时间戳能挖出的信息很多。时间差特征前面提过是相邻行为之间的间隔。但还有一个更有用的变体目标行为与序列中每个历史行为的时间差。这个特征让模型能感知哪些历史行为离当前预测目标更近在注意力计算时自然给近期行为更高权重。时段特征指的是行为发生的小时、星期几。电商用户的活跃时段有很强的规律性午休时间12-14点和晚间20-23点是高峰凌晨是低谷。不同时段的用户意图也不同晚间更多是休闲浏览午休更多是快速决策。把时段做embedding加入模型能帮助模型区分这个行为是在什么心理状态下发生的。周期性特征是电商特有的。发薪日前后、大促期间、周末用户的购买意愿和价格敏感度都会变化。TM20K如果覆盖了足够长的时间跨度可以构造距最近大促的天数这类特征。如果没有大促标注可以用该用户历史下单频率的周期性来近似。3.3 序列聚合特征把行为序列压缩成统计量除了把整个序列喂给模型还有一类做法是把序列压缩成统计特征直接作为排序模型的输入。这类特征在TM20K上作为辅助特征效果很好尤其是当序列模型本身不够强的时候。常见的聚合特征包括最近1小时/1天/7天的点击次数、加购次数、下单次数最近N个行为的类目分布熵衡量兴趣集中度最近N个行为的平均价格加购到下单的平均转化时长。这些特征计算成本低可解释性强在线上环境里往往是兜底的主力。但要注意聚合特征和序列模型特征有信息重叠。如果序列模型已经能很好地捕捉近期行为模式再叠加聚合特征可能带来不了多少增益反而增加过拟合风险。我的做法是先用序列模型跑一版看特征重要性如果某个聚合特征的重要性很低就果断砍掉。4. 训练TM20K序列模型的实操细节与踩坑记录4.1 样本构造负采样策略决定模型学到什么TM20K作为广告推荐数据集正负样本的比例通常极度不均衡。曝光未点击是负样本点击或转化是正样本比例可能到100:1甚至更高。直接拿全量负样本训练模型会倾向于预测所有样本为负AUC看着还行但实际排序能力很差。负采样是必须的但怎么采很有讲究。随机负采样最简单但从TM20K里随机抽商品作为负样本抽到的很可能是用户根本不可能接触到的商品比如男性用户被抽到口红这种负样本太容易模型学不到细粒度区分能力。基于曝光的负采样更合理只从用户实际曝光过但未点击的商品里采样。这样负样本和正样本在曝光层面是同分布的模型学到的是在都曝光的前提下为什么点这个不点那个。我通常会用混合负采样70%来自曝光未点击20%来自同类目未曝光商品10%来自全局随机。这样既有hard negative曝光未点击又有medium negative同类目还有easy negative全局随机模型能学到多层次的区分边界。在TM20K上这个策略比纯随机负采样的AUC高3个点左右。还有一个坑是负样本的时间泄漏。如果你用用户未来的行为作为负样本而正样本是过去的行为模型会学到时间越晚越可能是负样本这种虚假相关。正确做法是负采样时严格限制在正样本发生时间之前。4.2 序列截断与填充长度选择背后的权衡TM20K的序列长度分布通常很不均匀有的用户只有几个行为有的有几百个。直接取固定长度需要截断和填充这里有几个决策点。截断方向取最近N个行为还是最早N个电商场景下最近的行为信息量远大于早期行为所以取最近N个是标准做法。但要注意如果N太小比如10会丢失决策链路的前半段如果N太大比如200会引入大量噪声且增加计算量。我的经验是N50是一个比较平衡的点覆盖了大多数用户的完整决策链路计算量也可控。填充方式短序列用零向量填充是最简单的但零向量和真实embedding在语义空间里没有意义模型需要额外学习零向量代表缺失。更好的做法是用一个可学习的padding embedding或者用序列的均值embedding填充。在TM20K上可学习padding embedding比零填充的AUC高0.5个点左右。位置编码的处理如果序列是右对齐最近的行为在最后位置编码要相应调整。我见过有人用左对齐加标准位置编码结果模型把位置0当成了最早行为但实际那是padding导致效果崩掉。这个坑很隐蔽排查时建议打印几条样本的序列和位置编码对照看。4.3 损失函数选择BPR、交叉熵还是对比学习TM20K上的序列建模任务本质上是一个排序问题。损失函数的选择直接影响模型优化方向。交叉熵损失是最常用的把问题当作二分类点击/不点击。优点是稳定、易实现缺点是它优化的是绝对概率而广告推荐更关心相对排序。BPR损失直接优化正样本得分高于负样本的概率更贴合排序目标但训练时需要构造pairbatch内计算量更大。对比学习损失是近两年的热门把同一用户的不同行为增强视图作为正对不同用户的行为作为负对能学到更好的用户表示。我在TM20K上做过对比实验交叉熵的AUC是0.782BPR是0.786对比学习SimCLR式是0.789。对比学习效果最好但训练时间大约是交叉熵的2.5倍。如果算力有限BPR是一个性价比很高的选择。另外对比学习对数据增强策略很敏感电商序列里常用的增强包括随机mask掉部分行为、随机替换行为类型、时间窗口截取。mask增强通常最有效因为它迫使模型从不完整序列中恢复意图。5. 从离线指标到线上收益TM20K模型评估的陷阱5.1 AUC高不代表广告收入高这是我在实际项目里踩过的最大的坑。离线在TM20K上把AUC从0.78刷到0.80兴冲冲上线结果广告收入没涨甚至微跌。后来复盘发现AUC衡量的是全局排序能力但广告收入取决于头部位置的排序质量。如果模型在长尾样本上提升很多但头部样本高价值广告位的排序没变收入就不会动。正确的评估方式是看Top-K的NDCG或Recall。具体到广告场景K通常取3到5因为用户注意力有限只有前几个广告位真正产生价值。在TM20K上评估时我会同时看AUC、NDCG3、NDCG5如果AUC涨了但NDCG3没涨说明提升集中在长尾对收入帮助有限。还有一个指标是校准度。广告竞价需要模型输出的CTR是校准的预测0.1的样本实际点击率应该接近0.1否则出价策略会失真。序列模型容易过拟合导致预测概率偏高或偏低。评估时一定要画校准曲线如果偏离对角线太多需要做isotonic regression或 Platt scaling 校准。5.2 序列长度偏差与用户活跃度偏差TM20K里的用户活跃度分布是长尾的少数重度用户贡献了大量序列样本大量轻度用户只有零星行为。如果训练时不做处理模型会偏向重度用户的模式对轻度用户预测不准。而广告场景里轻度用户往往是拉新和促活的重点目标。处理方式有两种。一是样本加权给轻度用户的样本更高权重让模型在训练时更关注他们。权重可以设为用户历史行为数的倒数或者分桶后按桶给权重。二是分层评估把测试集按用户活跃度分成高、中、低三组分别看模型表现。如果低活跃组的指标明显差于高活跃组说明模型有活跃度偏差需要针对性优化。我在TM20K上做过分层评估发现低活跃组行为数5的AUC比高活跃组行为数50低4个点。后来在模型里加了一个用户活跃度embedding把用户历史行为数做分桶后作为特征输入低活跃组的AUC提升了2个点。这个特征很简单但效果立竿见影。5.3 离线-线上不一致的常见原因除了指标选择问题离线-线上不一致还有几个技术原因。特征穿越是最常见的离线构造特征时用了未来信息线上拿不到导致离线虚高。比如用用户未来7天的下单次数作为特征离线AUC会很好看但线上根本没法用。排查方法是逐特征检查时间戳确保特征计算只依赖预测时间点之前的数据。样本选择偏差也很隐蔽。TM20K的样本是历史投放策略产生的如果历史策略偏向某些商品或人群模型学到的模式在换策略后可能失效。这就是所谓的闭环反馈问题。缓解方式是做反事实评估用IPS逆倾向得分加权让模型评估不受历史策略影响。TM20K如果包含投放策略的倾向得分字段一定要用上。实时特征延迟是工程层面的坑。线上 serving 时用户的最新行为可能还没同步到特征库导致模型看到的是过期序列。广告场景下用户刚搜完一个商品下一个广告位就应该用上这个搜索行为如果延迟几秒转化机会就丢了。这个问题的解决依赖特征管道的实时性通常需要流式计算框架支持离线评估时很难模拟只能上线后做A/B测试验证。6. 把TM20K的序列建模经验迁移到实际广告系统6.1 从离线数据集到在线系统的特征对齐TM20K是一个离线数据集但它的特征体系可以映射到线上。关键是要建立一套特征字典把离线特征名和线上特征名一一对应。比如TM20K里的item_category对应线上的商品一级类目behavior_type对应线上的行为类型枚举。这个映射看起来简单但实际做的时候经常发现离线有、线上没有的特征或者线上有、离线没记录的特征。我的做法是先做特征可用性盘点列出TM20K里所有特征逐个确认线上是否能实时获取。不能获取的特征要么找替代方案要么在离线训练时就排除掉避免训练-服务不一致。这个盘点通常能发现20%到30%的特征存在对齐问题提前处理比上线后排查成本低得多。6.2 模型轻量化从实验模型到线上servingTM20K上跑通的模型直接上线往往太重。一个4层Transformer加商品图embedding参数量可能到几千万线上推理延迟扛不住。轻量化有几个方向层数裁剪4层降到2层AUC通常掉0.3到0.5个点但延迟降一半、embedding降维商品embedding从128维降到64维效果损失很小、量化FP32转FP16或INT8延迟降30%到50%精度损失可控。还有一个工程技巧是序列模型和排序模型解耦。序列模型只负责生成用户表示向量这个向量离线算好存进KV库线上排序模型直接读向量做特征。这样序列模型的复杂度不影响在线延迟只需要保证向量的新鲜度比如每小时更新一次。这个架构在TM20K的离线实验里验证过效果损失很小但工程可行性大幅提升。6.3 持续迭代数据漂移监控与模型更新电商场景的数据分布变化很快大促前后、季节更替、新品上市都会导致用户行为模式漂移。TM20K作为一个静态数据集没法反映这种动态性但基于它训练的模型上线后必须持续监控。监控的核心指标是特征分布漂移和预测分布漂移。特征漂移用PSI群体稳定性指标衡量PSI大于0.1说明分布有明显变化需要警惕大于0.25说明变化严重模型可能需要重新训练。预测漂移看模型输出的CTR均值如果连续几天偏离历史均值超过10%说明模型可能失效了。模型更新策略上我倾向于增量更新全量更新结合。每天用最新数据做增量训练保持模型对近期模式的敏感度每周做一次全量训练防止增量更新导致的参数漂移。TM20K上验证过增量更新的模型在近期样本上的AUC比全量模型高1个点左右但全量模型在长期稳定性上更好两者互补。最后分享一个我在实际项目里总结的小技巧序列模型的效果对序列的起始点很敏感。同样是50个行为从用户进入app开始算和从用户最后一次搜索开始算模型学到的模式完全不同。我的做法是同时构造多个起始点的序列比如最近50个行为、最近一次搜索后的行为、最近一次加购后的行为分别过序列模型然后把多个表示拼接起来。这个做法在TM20K上让AUC提升了0.8个点代价是推理时间增加但离线实验阶段值得一试上线时可以根据延迟预算决定保留几个视图。
