推荐系统里有个问题经常被拿出来讨论关联规则和协同过滤到底有什么区别很多人做了几年推荐用协同过滤做过不少项目但让他解释关联规则和协同过滤的本质区别却说不清楚。我在实践中也栽过跟头。早期做过一个电商推荐模块一开始直接用协同过滤发现推荐结果里很多都是用户根本不感兴趣但系统觉得相似的商品后来换成关联规则又发现过度依赖商品组合关系主页推荐效果直线下降。后来把两条技术路线分开根据具体场景去选问题才真正解决。这篇文章就把关联规则和协同过滤掰开揉碎讲清楚核心原理、本质差异、适用场景、参数配置、踩坑经验一次性说完。1. 先看清楚两类算法到底在做什么1.1 关联规则从交易篮子里找规律关联规则这个词最初是超市“啤酒和尿布”的故事带火的。它做的事情很朴素在一堆订单里找出哪些商品经常一起出现然后用买了A的人也买了B这样的规则形式表达出来。核心指标有三个支持度某条规则覆盖了多少订单。比如牛奶→面包的支持度是3%意味着所有订单里同时包含牛奶和面包的占了3%。置信度给出条件后结论的成立概率。买了牛奶的人里有多少人还买了面包这个比例就是置信度。提升度考虑了买面包的人本身有多少之后看这对组合是不是真的比随机概率更值得推荐。提升度大于1说明这个规则有正向价值等于1说明纯属随机小于1说明这对组合甚至互相压制。关联规则最常见的落地场景是捆绑销售、门店陈列、购物车推荐位。它的本质是从物品之间的共现关系中挖掘规律视角落在物品与物品的组合上。1.2 协同过滤从用户群体中找同类协同过滤的思路完全不同。它不关心牛奶和面包是不是经常一起出现而是关心你和我是不是很像。做法是先构建一个巨大的用户-物品评分矩阵行是用户列是物品格子里是用户对物品的评分或行为权重。然后通过两类方式做推荐基于用户的协同过滤UserCF找到和你行为最相似的K个用户把这些用户喜欢的但你还没买过的物品推荐给你。基于物品的协同过滤ItemCF找到和你看过的物品最相似的K个物品把它们推荐给你。协同过滤的本质是从用户之间的行为相似性中找规律视角落在用户与物品的关系上。1.3 两者最根本的分界线一句话概括关联规则看物品们是否经常共同出现协同过滤看用户们是否行为一致。前者以共现为起点后者以相似为起点。这个分界线决定了它们在数据要求、适用场景、可解释性上的巨大差异。2. 本质区别的四个维度拆解2.1 分析对象行为聚合 vs 用户-物品矩阵关联规则处理的是订单级数据。一张订单、一次购物车、一次点击会话都可以作为一个篮子。算法在篮子里做聚合统计观察物品A出现的同时物品B出现的概率。协同过滤处理的是用户级数据。一个用户的完整行为历史构成一行数据算法在矩阵层面做距离计算、相似度计算、矩阵分解。它需要的是一个用户对很多物品的历史行为而不是一次订单里同时放了什么。举个例子某个用户今天买了手机明天买了耳机后天买了充电宝。在关联规则看来这三样东西没有在一个篮子里同时出现所以组合不紧密但在协同过滤看来这个用户的行为序列体现了明确偏好和另外一千个买过手机又买耳机的人高度相似。同一份数据两种算法读出来的信息完全不同。2.2 数学原理与输出形态规则集合 vs 评分排序关联规则的输出是一组IF-THEN规则比如IF 买A THEN 买B置信度60%提升度2.3。它不直接给用户打分而是告诉你条件成立时结论发生的概率。协同过滤的输出是一个预测评分或推荐列表。UserCF的评分预测公式通常是对相似用户的评分做加权平均ItemCF则是加权物品评分矩阵分解类方法如SVD则会把用户和物品映射到低维隐向量空间再通过向量内积或余弦距离计算分数。从工程实现上看关联规则需要频繁项集挖掘常见算法有Apriori、FP-Growth协同过滤需要相似度计算或矩阵分解常见算法有UserCF、ItemCF、SVD、SVD。前者是统计计数后者是向量运算性能和瓶颈点也不一样。2.3 可解释性天然优势 vs 需要包装关联规则的每条输出都自带解释因为买了A所以推荐B。这个解释可以直接给用户看也可以给运营看用来做促销话术完全不需要额外加工。协同过滤的解释则比较虚。猜你喜欢背后可能是因为和你相似的用户喜欢这个但用户看到这句话会觉得很奇怪——我又不认识那些用户。所以实际产品里ItemCF类推荐通常包装成因为你看过X所以推荐YUserCF包装成大家也在看这种解释需要产品层面帮忙加工。可解释性直接决定了业务方的信任程度。我在实际项目中遇到过运营拒绝接受协同过滤推荐结果的情况理由是说不清楚为什么推荐这些品。换成关联规则之后运营自己能看懂规则才愿意在首页投放。2.4 数据稀疏性敏感度互补的短板关联规则天然不受用户数影响。即使只有100个用户只要订单量够规则照样能挖。它的问题在于长尾物品的共现极不稳定——某些冷门商品订单只有几单偶然共现一次支持度很低置信度却虚高容易产生伪关联。协同过滤正相反。用户数量越多、行为越稠密效果越稳定但冷门物品在矩阵里几乎没有行为记录推荐不出来。这就是著名的冷启动和稀疏性问题。所以这两种算法在面对数据量少这件事时短板是互补的。做项目时可以先看手里的数据适合哪种算法再决定技术路线。3. 应用场景怎么选一张图表决3.1 适合关联规则的场景关联规则适合决策链路短、强调组合关系的场景电商捆绑购买推荐购物车结算页提示再买一件搭配品享折扣用关联规则找搭配组合转化率通常不错。线下门店陈列分析购物篮把经常一起被购买的商品放在相邻货架或摆到收银台附近做冲动消费。内容推荐看完某篇文章的用户经常再看另一篇可以做文末相关阅读。医疗和风控分析症状组合推出疾病可能性、分析交易特征组合发现异常行为这两种算法都能做基础规律挖掘。这类场景有一个共同点用户决策路径短看到A顺手带B的概率很高推荐及时性比个性化更重要。3.2 适合协同过滤的场景协同过滤适合决策链路长、强调个人偏好差异的场景首页个性化推荐流每个用户看到的Feed不一样核心是猜你喜欢需要按用户历史行为实时生成。视频/音乐/资讯个性化推荐内容消费场景中用户偏好稳定且强协同过滤能学出稳定的用户画像。老用户复购推荐已经对该用户足够了解基于历史行为做相似用户/相似物品匹配推荐效果比较稳。这类场景的共同点在于用户的兴趣差异远大于物品的组合关系必须按人建模而不是按物建模。3.3 同场景混合使用的实践参考实际上很多场景两种都能用但效果完全不同。我在某电商平台上做过一次对比实验首页信息流推荐位分别接入ItemCF和关联规则。ItemCF的点击率比关联规则高出约20%因为首页信息流需要个性化排序但放在加入购物车后弹出凑单推荐这个位置关联规则的表现反而更好GMV贡献高出15%左右因为这时候用户正处于购买状态组合搭配的真实需求超过个性化。混合使用是推荐系统工程的常态商品详情页用更多关联规则做组合推荐首页用更多协同过滤做猜你喜欢各自负责不同的转化目标。4. 实操关键参数与核心代码4.1 关联规则Apriori的关键参数Apriori的核心逻辑是先找出所有支持度不低于最小支持度的频繁项集再在频繁项集里生成置信度不低于阈值的规则。from mlxtend.frequent_patterns import apriori, association_rules import pandas as pd # 订单数据每一行是一条订单列是商品1表示买了 # basket_data 为 DataFrame freq_items apriori(basket_data, min_support0.02, use_colnamesTrue) rules association_rules(freq_items, metriclift, min_threshold1.2) rules.sort_values(lift, ascendingFalse, inplaceTrue)三个参数需要注意min_support最小支持度建议从2%-5%开始调试。支持度过低会挖出海量无意义组合跑起来也慢。metric和min_threshold如果只求置信度高容易选出一堆热销品搭配热销品的无意义规则。我用**提升度lift**做筛选指标阈值1.2起步优先看提升度排序再看置信度这样选出来的规则才真正有组合意义。use_colnames设为True后结果里看到的是商品名而不是列编号不然你根本分不清规则里对应的是什么。实操中还有两个细节。第一个是数据编码。Apriori输入必须是每个订单里商品是否出现过的稀疏编码表one-hot不是原始购买记录。用订单明细做GROUP BY再PIVOT可以实现。第二个是规则条数控制。频繁项集一多生成的规则会爆炸式增长。我在一次活动中做关联规则挖掘min_support降到1%之后直接生成20多万条规则根本没法用。后来的办法是调高支持度再按提升度排序只保留前100条人工逐个过目选出来的才真正能上线。4.2 协同过滤的两种常见写法基于物品的协同过滤ItemCF核心是计算物品相似度from sklearn.metrics.pairwise import cosine_similarity import numpy as np # user_item_matrix: 行是用户列是物品值是行为权重 item_sim_matrix cosine_similarity(user_item_matrix.T) np.fill_diagonal(item_sim_matrix, 0) def recommend_itemcf(user_id, user_item_matrix, item_sim_matrix, topn10): user_vec user_item_matrix.loc[user_id].values scores item_sim_matrix.dot(user_vec) # 排除已买过的物品 already user_vec 0 scores[already] -1 top_items np.argsort(scores)[::-1][:topn] return user_item_matrix.columns[top_items]基于用户的协同过滤UserCF核心是计算用户之间的相似度再找相似用户买过的物品user_sim_matrix cosine_similarity(user_item_matrix) # 对目标用户找最近邻接着聚合邻居的行为生成推荐列表两个细节值得说。一是相似度算法的选择。余弦相似度只关心方向适合行为频次差异大的场景皮尔逊相关系数会做均值中心化适合评分数据。实际电商场景里行为数据多为隐式反馈点击、加购、购买没有评分我长期用余弦相似度简单稳定。二是行为权重的配置。在矩阵填充时购买设为3加购设为2点击设为1这些权重对结果影响巨大。如果只把点击也算行为热销品会抢占所有推荐位因为大多数用户都点击过。我习惯只保留加购、订单、收藏等强行为弱行为直接不纳入矩阵效果反而干净。SVD矩阵分解方法则是把用户-物品矩阵分解成用户隐向量和物品隐向量的乘积推荐的逻辑是把向量内积算出来的分数排序。它处理稀疏矩阵的能力更强但训练时间更长适合用户量较大的线上系统。小规模项目可以直接用ItemCF起步上线之后数据多了再升级成矩阵分解。4.3 离线评估怎么做两类算法上线前都要做离线评估但关注点不一样。关联规则看的是命中率给用户推荐了规则组合里的B商品用户在本次会话里是否也购买了B。线下可以用历史订单分组做回放验证把订单按时间分割前30天挖规则后7天验证规则命中情况。协同过滤看的是排序质量推荐列表里用户实际点击/购买的物品排得靠不靠前。常用的指标包括precisionK、recallK、NDCG。线上则用ABCD类指标对比实验流量与大盘的点击率、人均购买件数。这里有个容易被忽视的问题离线指标好不代表线上一定好。协同过滤离线评估很容易过拟合历史行为因为用户过去买过的东西权重天然偏高但线上用户真正触动他购买的往往是新鲜品。所以离线评估只能筛明显差的版本线上A/B实验才是最终标准。5. 常见问题与排查技巧实录5.1 关联规则的高置信度陷阱非常经典的坑挖掘结果里置信度90%以上的规则一堆但仔细一看全是买新发布的旗舰机→买充电器这种。充电器是热销品谁都会买置信度高只是因为充电器本身销量大。排查方法就是看提升度。提升度接近1的规则说明组合关系没有超出自然概率不值得单独运营。真正有价值的规则提升度至少要大于1.3。如果挖掘结果里所有规则提升度都低于1.2说明数据里本来就没有强关联关系换个维度比如按品类聚合再挖掘而不是硬调低阈值。5.2 协同过滤的Matrix稀疏和热销品倾斜用户行为数据一稀疏ItemCF计算出来的相似度矩阵很容易出现所有东西都和热门品相似的假象。因为大家对热门品都有过点击相似度计算里它天然成了万金油在推荐列表里常年霸屏。解决办法有几个对行为矩阵做频率衰减比如每个用户的行为次数除以该物品的全局行为次数削弱热门品权重对相似度矩阵做top-k截断每个物品只保留最相似的top 100个物品减少长尾噪音传播在推荐排序阶段加入多样性约束限制同类目商品连续出现强制混排。5.3 数据窗口期的经验值我踩过的坑里最痛的是一次促销活动优化用近90天的订单数据挖关联规则结果挖出来的规则全是上季度活动的捆绑商品组合对当前场次的促销品没有任何参考价值。后来我固定了两个时间参数关联规则用近30天数据促销活动周期内数据单独切片协同过滤用近90天数据但做时间衰减最近7天行为权重翻倍一个月前的行为权重减半。行为数据天然有时效性不管哪种推荐算法都必须考虑时间衰减。直接用全量历史数据训练的模型一定会被过时的偏好带偏。5.4 怎么判断当前策略该不该换场景一当你发现推荐结果每个人都差不多说明个性化程度不够可能是协同过滤的相似度计算被热门品主导也可能是用户行为数据太稀疏导致模型学不到差异化。这种情况建议先优化数据质量加行为权重衰减而不是急着换算法。场景二当你做商品详情页组合推荐发现转化率始终上不去推荐结果总是一些用户不感兴趣的关联规则组合。这时候应该换一种思路判断该用协同过滤替换还是保留规则但提高提升度筛选标准。场景三当一个新用户刚注册没有任何行为历史协同过滤完全瘫痪。这时候应该准备一套冷启动方案用热门榜兜底或者用关联规则做买了A用户还买B的引导。推荐系统的完整链路里两种算法往往配合使用而不是只选一种。6. 实际项目中的一次方案选择复盘某电商平台购物车凑单推荐模块优化时我带着团队做了两种算法的小流量对比实验。方案A关联规则——对全量购物车数据做高频项集挖掘生成凑单组合规则库用户加购后实时匹配规则。方案BItemCF协同过滤——用用户的完整行为矩阵找出相似物品在购物车场景做实时推荐。实验结果非常有意思方案A的订单GMV提升比方案B高出10.8%方案B的点击率比方案A高出18.3%最终方案A获胜因为购物车场景的核心目标是让用户多买一件而非单纯浏览更多商品。这个案例说明算法没有绝对的优劣脱离业务目标谈算法是空谈。购物车场景用户决策目标明确关联规则的组合驱动更贴合首页Feed场景用户处于探索状态协同过滤的兴趣探索更有效。做方案选择时我建议先回答三个问题这个推荐位希望用户做什么——多买一件还是多逛一会儿这个位置用户的决策链路有多长——购物车里加购一样东西点推荐只需几秒首页Feed流刷推荐会持续几分钟。当前数据支撑哪个模型——冷启动阶段用户少、行为稀疏协同过滤基本无效规则挖掘反而能支撑业务。回答完这三个问题算法选择的答案基本已经浮出水面。我在实际项目里最深的一点体会是推荐算法没有银弹。关联规则和协同过滤都不是新东西但至今仍是绝大多数推荐系统的基础设施原因在于它们各自抓住了推荐场景中的一个核心矛盾——是挖掘组合规律还是匹配兴趣相似。理解这个本质区别之后做方案设计时就自然知道该在哪条路线上投入。
推荐系统里有个问题经常被拿出来讨论关联规则和协同过滤到底有什么区别很多人做了几年推荐用协同过滤做过不少项目但让他解释关联规则和协同过滤的本质区别却说不清楚。我在实践中也栽过跟头。早期做过一个电商推荐模块一开始直接用协同过滤发现推荐结果里很多都是用户根本不感兴趣但系统觉得相似的商品后来换成关联规则又发现过度依赖商品组合关系主页推荐效果直线下降。后来把两条技术路线分开根据具体场景去选问题才真正解决。这篇文章就把关联规则和协同过滤掰开揉碎讲清楚核心原理、本质差异、适用场景、参数配置、踩坑经验一次性说完。1. 先看清楚两类算法到底在做什么1.1 关联规则从交易篮子里找规律关联规则这个词最初是超市“啤酒和尿布”的故事带火的。它做的事情很朴素在一堆订单里找出哪些商品经常一起出现然后用买了A的人也买了B这样的规则形式表达出来。核心指标有三个支持度某条规则覆盖了多少订单。比如牛奶→面包的支持度是3%意味着所有订单里同时包含牛奶和面包的占了3%。置信度给出条件后结论的成立概率。买了牛奶的人里有多少人还买了面包这个比例就是置信度。提升度考虑了买面包的人本身有多少之后看这对组合是不是真的比随机概率更值得推荐。提升度大于1说明这个规则有正向价值等于1说明纯属随机小于1说明这对组合甚至互相压制。关联规则最常见的落地场景是捆绑销售、门店陈列、购物车推荐位。它的本质是从物品之间的共现关系中挖掘规律视角落在物品与物品的组合上。1.2 协同过滤从用户群体中找同类协同过滤的思路完全不同。它不关心牛奶和面包是不是经常一起出现而是关心你和我是不是很像。做法是先构建一个巨大的用户-物品评分矩阵行是用户列是物品格子里是用户对物品的评分或行为权重。然后通过两类方式做推荐基于用户的协同过滤UserCF找到和你行为最相似的K个用户把这些用户喜欢的但你还没买过的物品推荐给你。基于物品的协同过滤ItemCF找到和你看过的物品最相似的K个物品把它们推荐给你。协同过滤的本质是从用户之间的行为相似性中找规律视角落在用户与物品的关系上。1.3 两者最根本的分界线一句话概括关联规则看物品们是否经常共同出现协同过滤看用户们是否行为一致。前者以共现为起点后者以相似为起点。这个分界线决定了它们在数据要求、适用场景、可解释性上的巨大差异。2. 本质区别的四个维度拆解2.1 分析对象行为聚合 vs 用户-物品矩阵关联规则处理的是订单级数据。一张订单、一次购物车、一次点击会话都可以作为一个篮子。算法在篮子里做聚合统计观察物品A出现的同时物品B出现的概率。协同过滤处理的是用户级数据。一个用户的完整行为历史构成一行数据算法在矩阵层面做距离计算、相似度计算、矩阵分解。它需要的是一个用户对很多物品的历史行为而不是一次订单里同时放了什么。举个例子某个用户今天买了手机明天买了耳机后天买了充电宝。在关联规则看来这三样东西没有在一个篮子里同时出现所以组合不紧密但在协同过滤看来这个用户的行为序列体现了明确偏好和另外一千个买过手机又买耳机的人高度相似。同一份数据两种算法读出来的信息完全不同。2.2 数学原理与输出形态规则集合 vs 评分排序关联规则的输出是一组IF-THEN规则比如IF 买A THEN 买B置信度60%提升度2.3。它不直接给用户打分而是告诉你条件成立时结论发生的概率。协同过滤的输出是一个预测评分或推荐列表。UserCF的评分预测公式通常是对相似用户的评分做加权平均ItemCF则是加权物品评分矩阵分解类方法如SVD则会把用户和物品映射到低维隐向量空间再通过向量内积或余弦距离计算分数。从工程实现上看关联规则需要频繁项集挖掘常见算法有Apriori、FP-Growth协同过滤需要相似度计算或矩阵分解常见算法有UserCF、ItemCF、SVD、SVD。前者是统计计数后者是向量运算性能和瓶颈点也不一样。2.3 可解释性天然优势 vs 需要包装关联规则的每条输出都自带解释因为买了A所以推荐B。这个解释可以直接给用户看也可以给运营看用来做促销话术完全不需要额外加工。协同过滤的解释则比较虚。猜你喜欢背后可能是因为和你相似的用户喜欢这个但用户看到这句话会觉得很奇怪——我又不认识那些用户。所以实际产品里ItemCF类推荐通常包装成因为你看过X所以推荐YUserCF包装成大家也在看这种解释需要产品层面帮忙加工。可解释性直接决定了业务方的信任程度。我在实际项目中遇到过运营拒绝接受协同过滤推荐结果的情况理由是说不清楚为什么推荐这些品。换成关联规则之后运营自己能看懂规则才愿意在首页投放。2.4 数据稀疏性敏感度互补的短板关联规则天然不受用户数影响。即使只有100个用户只要订单量够规则照样能挖。它的问题在于长尾物品的共现极不稳定——某些冷门商品订单只有几单偶然共现一次支持度很低置信度却虚高容易产生伪关联。协同过滤正相反。用户数量越多、行为越稠密效果越稳定但冷门物品在矩阵里几乎没有行为记录推荐不出来。这就是著名的冷启动和稀疏性问题。所以这两种算法在面对数据量少这件事时短板是互补的。做项目时可以先看手里的数据适合哪种算法再决定技术路线。3. 应用场景怎么选一张图表决3.1 适合关联规则的场景关联规则适合决策链路短、强调组合关系的场景电商捆绑购买推荐购物车结算页提示再买一件搭配品享折扣用关联规则找搭配组合转化率通常不错。线下门店陈列分析购物篮把经常一起被购买的商品放在相邻货架或摆到收银台附近做冲动消费。内容推荐看完某篇文章的用户经常再看另一篇可以做文末相关阅读。医疗和风控分析症状组合推出疾病可能性、分析交易特征组合发现异常行为这两种算法都能做基础规律挖掘。这类场景有一个共同点用户决策路径短看到A顺手带B的概率很高推荐及时性比个性化更重要。3.2 适合协同过滤的场景协同过滤适合决策链路长、强调个人偏好差异的场景首页个性化推荐流每个用户看到的Feed不一样核心是猜你喜欢需要按用户历史行为实时生成。视频/音乐/资讯个性化推荐内容消费场景中用户偏好稳定且强协同过滤能学出稳定的用户画像。老用户复购推荐已经对该用户足够了解基于历史行为做相似用户/相似物品匹配推荐效果比较稳。这类场景的共同点在于用户的兴趣差异远大于物品的组合关系必须按人建模而不是按物建模。3.3 同场景混合使用的实践参考实际上很多场景两种都能用但效果完全不同。我在某电商平台上做过一次对比实验首页信息流推荐位分别接入ItemCF和关联规则。ItemCF的点击率比关联规则高出约20%因为首页信息流需要个性化排序但放在加入购物车后弹出凑单推荐这个位置关联规则的表现反而更好GMV贡献高出15%左右因为这时候用户正处于购买状态组合搭配的真实需求超过个性化。混合使用是推荐系统工程的常态商品详情页用更多关联规则做组合推荐首页用更多协同过滤做猜你喜欢各自负责不同的转化目标。4. 实操关键参数与核心代码4.1 关联规则Apriori的关键参数Apriori的核心逻辑是先找出所有支持度不低于最小支持度的频繁项集再在频繁项集里生成置信度不低于阈值的规则。from mlxtend.frequent_patterns import apriori, association_rules import pandas as pd # 订单数据每一行是一条订单列是商品1表示买了 # basket_data 为 DataFrame freq_items apriori(basket_data, min_support0.02, use_colnamesTrue) rules association_rules(freq_items, metriclift, min_threshold1.2) rules.sort_values(lift, ascendingFalse, inplaceTrue)三个参数需要注意min_support最小支持度建议从2%-5%开始调试。支持度过低会挖出海量无意义组合跑起来也慢。metric和min_threshold如果只求置信度高容易选出一堆热销品搭配热销品的无意义规则。我用**提升度lift**做筛选指标阈值1.2起步优先看提升度排序再看置信度这样选出来的规则才真正有组合意义。use_colnames设为True后结果里看到的是商品名而不是列编号不然你根本分不清规则里对应的是什么。实操中还有两个细节。第一个是数据编码。Apriori输入必须是每个订单里商品是否出现过的稀疏编码表one-hot不是原始购买记录。用订单明细做GROUP BY再PIVOT可以实现。第二个是规则条数控制。频繁项集一多生成的规则会爆炸式增长。我在一次活动中做关联规则挖掘min_support降到1%之后直接生成20多万条规则根本没法用。后来的办法是调高支持度再按提升度排序只保留前100条人工逐个过目选出来的才真正能上线。4.2 协同过滤的两种常见写法基于物品的协同过滤ItemCF核心是计算物品相似度from sklearn.metrics.pairwise import cosine_similarity import numpy as np # user_item_matrix: 行是用户列是物品值是行为权重 item_sim_matrix cosine_similarity(user_item_matrix.T) np.fill_diagonal(item_sim_matrix, 0) def recommend_itemcf(user_id, user_item_matrix, item_sim_matrix, topn10): user_vec user_item_matrix.loc[user_id].values scores item_sim_matrix.dot(user_vec) # 排除已买过的物品 already user_vec 0 scores[already] -1 top_items np.argsort(scores)[::-1][:topn] return user_item_matrix.columns[top_items]基于用户的协同过滤UserCF核心是计算用户之间的相似度再找相似用户买过的物品user_sim_matrix cosine_similarity(user_item_matrix) # 对目标用户找最近邻接着聚合邻居的行为生成推荐列表两个细节值得说。一是相似度算法的选择。余弦相似度只关心方向适合行为频次差异大的场景皮尔逊相关系数会做均值中心化适合评分数据。实际电商场景里行为数据多为隐式反馈点击、加购、购买没有评分我长期用余弦相似度简单稳定。二是行为权重的配置。在矩阵填充时购买设为3加购设为2点击设为1这些权重对结果影响巨大。如果只把点击也算行为热销品会抢占所有推荐位因为大多数用户都点击过。我习惯只保留加购、订单、收藏等强行为弱行为直接不纳入矩阵效果反而干净。SVD矩阵分解方法则是把用户-物品矩阵分解成用户隐向量和物品隐向量的乘积推荐的逻辑是把向量内积算出来的分数排序。它处理稀疏矩阵的能力更强但训练时间更长适合用户量较大的线上系统。小规模项目可以直接用ItemCF起步上线之后数据多了再升级成矩阵分解。4.3 离线评估怎么做两类算法上线前都要做离线评估但关注点不一样。关联规则看的是命中率给用户推荐了规则组合里的B商品用户在本次会话里是否也购买了B。线下可以用历史订单分组做回放验证把订单按时间分割前30天挖规则后7天验证规则命中情况。协同过滤看的是排序质量推荐列表里用户实际点击/购买的物品排得靠不靠前。常用的指标包括precisionK、recallK、NDCG。线上则用ABCD类指标对比实验流量与大盘的点击率、人均购买件数。这里有个容易被忽视的问题离线指标好不代表线上一定好。协同过滤离线评估很容易过拟合历史行为因为用户过去买过的东西权重天然偏高但线上用户真正触动他购买的往往是新鲜品。所以离线评估只能筛明显差的版本线上A/B实验才是最终标准。5. 常见问题与排查技巧实录5.1 关联规则的高置信度陷阱非常经典的坑挖掘结果里置信度90%以上的规则一堆但仔细一看全是买新发布的旗舰机→买充电器这种。充电器是热销品谁都会买置信度高只是因为充电器本身销量大。排查方法就是看提升度。提升度接近1的规则说明组合关系没有超出自然概率不值得单独运营。真正有价值的规则提升度至少要大于1.3。如果挖掘结果里所有规则提升度都低于1.2说明数据里本来就没有强关联关系换个维度比如按品类聚合再挖掘而不是硬调低阈值。5.2 协同过滤的Matrix稀疏和热销品倾斜用户行为数据一稀疏ItemCF计算出来的相似度矩阵很容易出现所有东西都和热门品相似的假象。因为大家对热门品都有过点击相似度计算里它天然成了万金油在推荐列表里常年霸屏。解决办法有几个对行为矩阵做频率衰减比如每个用户的行为次数除以该物品的全局行为次数削弱热门品权重对相似度矩阵做top-k截断每个物品只保留最相似的top 100个物品减少长尾噪音传播在推荐排序阶段加入多样性约束限制同类目商品连续出现强制混排。5.3 数据窗口期的经验值我踩过的坑里最痛的是一次促销活动优化用近90天的订单数据挖关联规则结果挖出来的规则全是上季度活动的捆绑商品组合对当前场次的促销品没有任何参考价值。后来我固定了两个时间参数关联规则用近30天数据促销活动周期内数据单独切片协同过滤用近90天数据但做时间衰减最近7天行为权重翻倍一个月前的行为权重减半。行为数据天然有时效性不管哪种推荐算法都必须考虑时间衰减。直接用全量历史数据训练的模型一定会被过时的偏好带偏。5.4 怎么判断当前策略该不该换场景一当你发现推荐结果每个人都差不多说明个性化程度不够可能是协同过滤的相似度计算被热门品主导也可能是用户行为数据太稀疏导致模型学不到差异化。这种情况建议先优化数据质量加行为权重衰减而不是急着换算法。场景二当你做商品详情页组合推荐发现转化率始终上不去推荐结果总是一些用户不感兴趣的关联规则组合。这时候应该换一种思路判断该用协同过滤替换还是保留规则但提高提升度筛选标准。场景三当一个新用户刚注册没有任何行为历史协同过滤完全瘫痪。这时候应该准备一套冷启动方案用热门榜兜底或者用关联规则做买了A用户还买B的引导。推荐系统的完整链路里两种算法往往配合使用而不是只选一种。6. 实际项目中的一次方案选择复盘某电商平台购物车凑单推荐模块优化时我带着团队做了两种算法的小流量对比实验。方案A关联规则——对全量购物车数据做高频项集挖掘生成凑单组合规则库用户加购后实时匹配规则。方案BItemCF协同过滤——用用户的完整行为矩阵找出相似物品在购物车场景做实时推荐。实验结果非常有意思方案A的订单GMV提升比方案B高出10.8%方案B的点击率比方案A高出18.3%最终方案A获胜因为购物车场景的核心目标是让用户多买一件而非单纯浏览更多商品。这个案例说明算法没有绝对的优劣脱离业务目标谈算法是空谈。购物车场景用户决策目标明确关联规则的组合驱动更贴合首页Feed场景用户处于探索状态协同过滤的兴趣探索更有效。做方案选择时我建议先回答三个问题这个推荐位希望用户做什么——多买一件还是多逛一会儿这个位置用户的决策链路有多长——购物车里加购一样东西点推荐只需几秒首页Feed流刷推荐会持续几分钟。当前数据支撑哪个模型——冷启动阶段用户少、行为稀疏协同过滤基本无效规则挖掘反而能支撑业务。回答完这三个问题算法选择的答案基本已经浮出水面。我在实际项目里最深的一点体会是推荐算法没有银弹。关联规则和协同过滤都不是新东西但至今仍是绝大多数推荐系统的基础设施原因在于它们各自抓住了推荐场景中的一个核心矛盾——是挖掘组合规律还是匹配兴趣相似。理解这个本质区别之后做方案设计时就自然知道该在哪条路线上投入。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
