我们在前面的讨论中输入的都是一个向量那么如果输入的是多个向量输入是一排向量时应该如何处理呢这就是本节课要解决的问题哪些场景的输入是需要用多向量表示呢例如输入一个句子每个单词可以看作一个向量一个句子就是一排长度不一的向量还有一段声音信号也可以看作多个向量的排列表示方法还有其他的例子输出的情况有哪些一输入和输出数量相同,被称为Sequence Labeling但是这样有一个问题就是第一个saw是动词第二个saw是名词那么模型是如何区分的呢通过上下文考虑前后的frame这样我们又出现新的问题我们需要划分一下这个窗口应该有多大考虑范围有多大可以把整个seq作为window吗这样会导致参数变多容易造成overfitting由此我们引入sel-attention技术它可以和FC技术交替使用self-attention的运作方式简单来说就是找各个输入之间的关联计算他们之间的相关性例如计算a1和a2,a3,a4之间的相关性相关性的计算方法如下我们一般经常使用的是左边的方法也就是Dot-product方法下面都会用该方法由此我们可以两两计算相关性但是不要忘记自身也要和自身计算相关性这里计算结果后用softmax标准化其实也可以用其他方法用relu也可以之后根据计算后的相关性来抽取有用的信息谁的相关性越大最后的计算结果就越接近哪个v关于为什么要乘v其他的b2,b3,b4同理进行计算我们可以把ai各自乘积得到的q,k,v拼接起来得到一个大的矩阵以此类推可以得到attention score的矩阵表示方法最后得到self-attention的输出总结self-attention的计算过程扩展multi-head self-attention,这也是我们今天常用的方法核心逻辑是使用不同的relevance,所以在计算q,v,k时要采用不同的方法乘以不同的矩阵目前讲述的self attention有一个问题——从未考虑过位置问题比如在一个句子中动词很少作为第一个单词那么如何把位置的资讯加入其中呢可以使用positional encoding技术就是用一个vector向量定义位置信息这样的位置信息是人为手工定义的一般采用sin cos来定义但是也可能用其他方法表示如下图所示目前还有提出的四个方法下面我们来介绍truncated self-attention当我们要输入的vector非常长时形成的attention matrix会很大由此我们引入truncated self-attention每次只截取一小块片段可以用self attention进行影像处理吗可以的也可以把图片看成一个三维向量输入它和CNN的区别CNN只考虑一个receptive field内的情况但是self-attention是考虑所有区域的情况可以说CNN就是self-attention的特例相对来说self-attention是更flexible的模型那么需要的数据量更大所以在下图2中显示数据量小时CNN的表现效果更好数据量大时self-attention表现效果更好self-attention和RNN对比RNN的性能远不如self-attention之后我们不会讨论RNN了RNN相比于self attention的劣势有会附带一开始数据记忆要一直存储记忆才能后后面的记忆进行关联性计算而且也不能进行同步运算self-ateention在Graph上的应用因为Graph本身有节点和edge所以可以直观的表示两个向量之间的关系二只有一个输出三由机器自己决定输出多少个向量也被称为seq2seqself-attention的变式非常多
我们在前面的讨论中输入的都是一个向量那么如果输入的是多个向量输入是一排向量时应该如何处理呢这就是本节课要解决的问题哪些场景的输入是需要用多向量表示呢例如输入一个句子每个单词可以看作一个向量一个句子就是一排长度不一的向量还有一段声音信号也可以看作多个向量的排列表示方法还有其他的例子输出的情况有哪些一输入和输出数量相同,被称为Sequence Labeling但是这样有一个问题就是第一个saw是动词第二个saw是名词那么模型是如何区分的呢通过上下文考虑前后的frame这样我们又出现新的问题我们需要划分一下这个窗口应该有多大考虑范围有多大可以把整个seq作为window吗这样会导致参数变多容易造成overfitting由此我们引入sel-attention技术它可以和FC技术交替使用self-attention的运作方式简单来说就是找各个输入之间的关联计算他们之间的相关性例如计算a1和a2,a3,a4之间的相关性相关性的计算方法如下我们一般经常使用的是左边的方法也就是Dot-product方法下面都会用该方法由此我们可以两两计算相关性但是不要忘记自身也要和自身计算相关性这里计算结果后用softmax标准化其实也可以用其他方法用relu也可以之后根据计算后的相关性来抽取有用的信息谁的相关性越大最后的计算结果就越接近哪个v关于为什么要乘v其他的b2,b3,b4同理进行计算我们可以把ai各自乘积得到的q,k,v拼接起来得到一个大的矩阵以此类推可以得到attention score的矩阵表示方法最后得到self-attention的输出总结self-attention的计算过程扩展multi-head self-attention,这也是我们今天常用的方法核心逻辑是使用不同的relevance,所以在计算q,v,k时要采用不同的方法乘以不同的矩阵目前讲述的self attention有一个问题——从未考虑过位置问题比如在一个句子中动词很少作为第一个单词那么如何把位置的资讯加入其中呢可以使用positional encoding技术就是用一个vector向量定义位置信息这样的位置信息是人为手工定义的一般采用sin cos来定义但是也可能用其他方法表示如下图所示目前还有提出的四个方法下面我们来介绍truncated self-attention当我们要输入的vector非常长时形成的attention matrix会很大由此我们引入truncated self-attention每次只截取一小块片段可以用self attention进行影像处理吗可以的也可以把图片看成一个三维向量输入它和CNN的区别CNN只考虑一个receptive field内的情况但是self-attention是考虑所有区域的情况可以说CNN就是self-attention的特例相对来说self-attention是更flexible的模型那么需要的数据量更大所以在下图2中显示数据量小时CNN的表现效果更好数据量大时self-attention表现效果更好self-attention和RNN对比RNN的性能远不如self-attention之后我们不会讨论RNN了RNN相比于self attention的劣势有会附带一开始数据记忆要一直存储记忆才能后后面的记忆进行关联性计算而且也不能进行同步运算self-ateention在Graph上的应用因为Graph本身有节点和edge所以可以直观的表示两个向量之间的关系二只有一个输出三由机器自己决定输出多少个向量也被称为seq2seqself-attention的变式非常多
