知识蒸馏（Knowledge Distillation）

通过结构复杂、计算量大但是性能优秀的教师神经网络对结构相对简单、计算量较小的学生神经网络进行指导以提升学生神经网络的性能。论文中提出了“暗知识”这一概念即比如我们在识别一张猫猫的图片的时候一个性能良好的神经网络经过softmax变换后的输出在一般该向量中代表猫猫的位置会得到一个非常高的值比如0.9而代表其它分类的值在传统的研究中就不那么受重视了。Hinton大神认为其它位置得到的值能够为我们提供一些额外的信息比如在猫得到0.9的同时识别为狮子的值可能因为相似的缘故给到了0.09而识别为汽车的值则可能只有0.0001。在我的理解中这种目标间的相似性就是“暗知识”的本质。为了要放大这种“暗知识”所包含的信息Hinton在传统的softmax函数中加入温度参数T变为下式所示知识蒸馏的步骤分别为一、采用传统方式训练一个教师网络。二、建立学生网络模型模型的输出采用传统的softmax函数拟合目标为one-hot形式的训练集输出它们之间的距离记为loss1。三、将训练完成的教师网络的softmax分类器加入温度参数作为具有相同温度参数softmax分类器的学生网络的拟合目标他们之间的距离记为loss2。四、引入参数alpha将loss1×(1-alpha)loss2×alpha作为网络训练时使用的loss训练网络。————————————————版权声明本文为CSDN博主「小石学CS」的原创文章遵循 CC 4.0 BY-SA 版权协议转载请附上原文出处链接及本声明。原文链接https://blog.csdn.net/shi2xian2wei2/article/details/84570620————————————————版权声明本文为CSDN博主「小石学CS」的原创文章遵循 CC 4.0 BY-SA 版权协议转载请附上原文出处链接及本声明。原文链接https://blog.csdn.net/shi2xian2wei2/article/details/84570620