2014年CVPR那篇DeepFace出来的时候我正好在读博一。Lab里所有人都在讨论Facebook这个只有4层卷积加2层全连接的简单架构怎么能在LFW上达到97.35%的准确率。那时候我们还天真地以为人脸识别就是个分类问题堆数据、加层数就能一路跑到百分百。十年过去了人脸识别确实已经渗透进生活的每个角落。手机解锁、机场安检、支付验证、公司考勤这些都没什么好说的。真正让我感到不安的是那些看不见的应用。2019年我在深圳参加一个学术会议中场休息时和一位做安防的工程师聊天。他随口提到他们的系统已经能在30米外、45度角、有遮挡的情况下锁定目标人物。我说这不是挺好的技术进步吗。他笑了一下说你不知道我们现在在做的事情是情绪预测。情绪预测。这四个字让我至今想起来都后背发凉。从技术上讲这不是什么新鲜事。AffectNet、FER2013这些表情识别数据集已经存在很多年了。传统做法是把人脸分成六种基本表情——高兴、悲伤、愤怒、恐惧、厌恶、惊讶——然后训练分类器。但这条路走不远因为人类的表情远没有这么简单。同一个微笑可能是礼貌、尴尬、嘲讽、欣慰、紧张的伪装你让模型怎么区分现在主流的方法已经不是简单的表情分类了。深度学习模型直接从人脸图像中提取高维特征向量然后用这些特征去预测各种心理状态指标——注意力水平、疲劳程度、情绪效价、唤醒度甚至性格特质。这里的关键在于模型学到的东西远远超出了人类设计者的预想。有一篇2021年的论文让我印象很深。研究者发现用FaceNet提取的人脸嵌入向量在没有任何情绪标签训练的情况下仅通过PCA降维就能自然地把不同情绪状态聚类分开。这说明深度人脸特征中天然编码了远比身份更多的信息。年龄、性别、种族这些倒还好说关键是连心率变异性、血压趋势这些生理指标都能从面部血流微变化中提取出来。远程光电容积描记术rPPG是另一个让我既兴奋又恐惧的技术方向。普通摄像头就能捕捉到人眼无法察觉的面部皮肤颜色微小变化这些变化对应着心跳周期。通过信号处理从视频中提取心率已经是成熟技术了。更新的研究显示血压、呼吸频率、甚至血糖水平都能用类似原理进行估算误差在不断缩小。把这些拼在一起你得到的是什么是一个能够在人毫无察觉的情况下持续读取生理心理状态的系统。它可以知道你是不是紧张了是不是撒谎了是不是被某个广告打动了是不是对某个政治口号产生了共鸣。今年年初我和一个做零售的朋友吃饭他说现在商场里安装的客流分析摄像头已经不止是数人头了。系统会追踪每个人在哪个货架前停留多长时间看什么东西时眼睛亮了一下在哪个价格标签前皱了下眉。这些数据汇入后台的推荐引擎在你走到收银台之前个性化优惠券已经发到了你手机上。从商业逻辑上讲这简直完美。从个人隐私上讲这简直是噩梦。技术层面上这一轮飞跃主要拜几个进展所赐。一是Transformer架构引入视觉领域后全局注意力机制让模型能够同时关注面部多个区域的细微变化而不是像CNN那样逐步聚合。二是多模态预训练模型让视觉特征和语义特征建立了映射现在模型不仅能看出你的表情还能理解这个表情在社交语境中的含义。三是边缘计算芯片的进步让这些复杂的推理可以在摄像头本地完成延迟降到毫秒级不需要把视频流上传云端。我最担心的其实不是技术本身而是技术的不对称应用。商家对消费者、政府对公民、平台对用户这种单向的读心术会彻底改变权力的平衡。你以为你在自由地做出选择但实际上对面的系统比你自己更早地预测到了你的选择。我们做计算机视觉的人入行时大多是因为觉得让机器看见这个世界是一件很酷的事。但现在机器不仅能看见还能看穿。这个责任怎么承担说实话我们这个领域还没有准备好。
2014年CVPR那篇DeepFace出来的时候我正好在读博一。Lab里所有人都在讨论Facebook这个只有4层卷积加2层全连接的简单架构怎么能在LFW上达到97.35%的准确率。那时候我们还天真地以为人脸识别就是个分类问题堆数据、加层数就能一路跑到百分百。十年过去了人脸识别确实已经渗透进生活的每个角落。手机解锁、机场安检、支付验证、公司考勤这些都没什么好说的。真正让我感到不安的是那些看不见的应用。2019年我在深圳参加一个学术会议中场休息时和一位做安防的工程师聊天。他随口提到他们的系统已经能在30米外、45度角、有遮挡的情况下锁定目标人物。我说这不是挺好的技术进步吗。他笑了一下说你不知道我们现在在做的事情是情绪预测。情绪预测。这四个字让我至今想起来都后背发凉。从技术上讲这不是什么新鲜事。AffectNet、FER2013这些表情识别数据集已经存在很多年了。传统做法是把人脸分成六种基本表情——高兴、悲伤、愤怒、恐惧、厌恶、惊讶——然后训练分类器。但这条路走不远因为人类的表情远没有这么简单。同一个微笑可能是礼貌、尴尬、嘲讽、欣慰、紧张的伪装你让模型怎么区分现在主流的方法已经不是简单的表情分类了。深度学习模型直接从人脸图像中提取高维特征向量然后用这些特征去预测各种心理状态指标——注意力水平、疲劳程度、情绪效价、唤醒度甚至性格特质。这里的关键在于模型学到的东西远远超出了人类设计者的预想。有一篇2021年的论文让我印象很深。研究者发现用FaceNet提取的人脸嵌入向量在没有任何情绪标签训练的情况下仅通过PCA降维就能自然地把不同情绪状态聚类分开。这说明深度人脸特征中天然编码了远比身份更多的信息。年龄、性别、种族这些倒还好说关键是连心率变异性、血压趋势这些生理指标都能从面部血流微变化中提取出来。远程光电容积描记术rPPG是另一个让我既兴奋又恐惧的技术方向。普通摄像头就能捕捉到人眼无法察觉的面部皮肤颜色微小变化这些变化对应着心跳周期。通过信号处理从视频中提取心率已经是成熟技术了。更新的研究显示血压、呼吸频率、甚至血糖水平都能用类似原理进行估算误差在不断缩小。把这些拼在一起你得到的是什么是一个能够在人毫无察觉的情况下持续读取生理心理状态的系统。它可以知道你是不是紧张了是不是撒谎了是不是被某个广告打动了是不是对某个政治口号产生了共鸣。今年年初我和一个做零售的朋友吃饭他说现在商场里安装的客流分析摄像头已经不止是数人头了。系统会追踪每个人在哪个货架前停留多长时间看什么东西时眼睛亮了一下在哪个价格标签前皱了下眉。这些数据汇入后台的推荐引擎在你走到收银台之前个性化优惠券已经发到了你手机上。从商业逻辑上讲这简直完美。从个人隐私上讲这简直是噩梦。技术层面上这一轮飞跃主要拜几个进展所赐。一是Transformer架构引入视觉领域后全局注意力机制让模型能够同时关注面部多个区域的细微变化而不是像CNN那样逐步聚合。二是多模态预训练模型让视觉特征和语义特征建立了映射现在模型不仅能看出你的表情还能理解这个表情在社交语境中的含义。三是边缘计算芯片的进步让这些复杂的推理可以在摄像头本地完成延迟降到毫秒级不需要把视频流上传云端。我最担心的其实不是技术本身而是技术的不对称应用。商家对消费者、政府对公民、平台对用户这种单向的读心术会彻底改变权力的平衡。你以为你在自由地做出选择但实际上对面的系统比你自己更早地预测到了你的选择。我们做计算机视觉的人入行时大多是因为觉得让机器看见这个世界是一件很酷的事。但现在机器不仅能看见还能看穿。这个责任怎么承担说实话我们这个领域还没有准备好。
