注意力机制

注意力机制-Attention今天从四个方面来介绍注意力机制。首先是我们为什么要引入注意力机制，深度学习对于特征提取近年来取得了巨大的成功，但是他还有什么不足呢? 其次，我将从Encoder-Decoder框架（一种深度学习领域的研究模式，应用场景异常广泛）来介绍注意力机制；接着，总结一下目前注意力机制研究的的分类与应用；最后，切入到计算机视觉CV领域来介绍注意力机制。 为什么要引入注意力机制？我们知道深度学习近年来在计算机视觉，自然语言处理等领域取得了巨大的成功，使用多层的深度神经网络逐层进行特征提取，获取更加高级的语义特征。但这样，伴随着两个缺陷 • 计算能力的限制：当要记住很多“信息“，模型就要变得更复杂，然而目前计算能力依然是限制神经网络发展的瓶颈 • 优化算法的限制：虽然局部连接、权重共享以及pooling等优化操作可以让神经网络变得简单一些，有效缓解模型复杂度和表达能力之间的矛盾；但是，如循环神经网络中的长距离以来问题，信息“记忆”能力并不高。卷积神经网络中，虽然能通过堆叠卷积层来获得更大的感受野，但不断地池化也会丢失长距离依赖的语义信息。 因此，注意力机制的出现就是为了 ...