我是做算法的日常跟模型、特征、训练打交道。今天不聊技术想跟同行聊个我亲身趟过的隐性过拟合——用咱们这行能听懂的方式说。一、这组特征从去年冬天开始漂移我身体状态一向像训练集基线平稳可预期。可从去年入冬开始这套指标悄悄变了分泌物不太对劲时多时少还带点异味下腹偶尔隐隐坠着久坐闷着更明显。我当成噪声、换季正常波动压根没当回事——跟线上偶发的warning一样没到告警阈值就懒得查更没写进迭代复盘。那阵子项目赶上线我连着值了几个夜班咖啡当水灌身体这条loss曲线早该盯了我却假装收敛。二、沧州土生土长风土里熬出来的累我是土生土长的沧州人爸妈住在运河区从小啃着金丝小枣、看吴桥杂技长大。咱这儿冬天干冷屋里暖气一开人整日缩在工位上盯着屏幕调参水都忘了喝。火锅鸡倒是没少吃可辣的越吃越燥。咱沧州到底是武术之乡可我这点精气神全耗在模型里铁狮子跟前遛弯的劲儿都没了样本里的休息那一行数据被我一路删到了零。三、同事一句话把我从过拟合里拉出来组里leader看我老揉肚子、脸色发白私下说你这模型没收敛得去查查别硬撑。我想起自己常跟新人念叨特征漂移要早干预、别等过拟合再救轮到自己却一拖再拖。前阵子正好休班我才动了念头。
我是做算法的日常跟模型、特征、训练打交道。今天不聊技术想跟同行聊个我亲身趟过的隐性过拟合——用咱们这行能听懂的方式说。一、这组特征从去年冬天开始漂移我身体状态一向像训练集基线平稳可预期。可从去年入冬开始这套指标悄悄变了分泌物不太对劲时多时少还带点异味下腹偶尔隐隐坠着久坐闷着更明显。我当成噪声、换季正常波动压根没当回事——跟线上偶发的warning一样没到告警阈值就懒得查更没写进迭代复盘。那阵子项目赶上线我连着值了几个夜班咖啡当水灌身体这条loss曲线早该盯了我却假装收敛。二、沧州土生土长风土里熬出来的累我是土生土长的沧州人爸妈住在运河区从小啃着金丝小枣、看吴桥杂技长大。咱这儿冬天干冷屋里暖气一开人整日缩在工位上盯着屏幕调参水都忘了喝。火锅鸡倒是没少吃可辣的越吃越燥。咱沧州到底是武术之乡可我这点精气神全耗在模型里铁狮子跟前遛弯的劲儿都没了样本里的休息那一行数据被我一路删到了零。三、同事一句话把我从过拟合里拉出来组里leader看我老揉肚子、脸色发白私下说你这模型没收敛得去查查别硬撑。我想起自己常跟新人念叨特征漂移要早干预、别等过拟合再救轮到自己却一拖再拖。前阵子正好休班我才动了念头。
