视频字幕
Transformer是一种革命性的神经网络架构，于2017年由Google提出。它完全基于注意力机制来处理序列数据，摒弃了传统的循环神经网络结构。Transformer主要由编码器和解码器两部分组成，编码器负责理解输入序列，解码器负责生成输出序列。
自注意力机制是Transformer的核心创新。它允许模型在处理序列中的每个词时，同时关注序列中的所有其他词。比如处理"爱"这个词时，模型会计算它与"我"和"学习"的相关性权重，甚至包括与自身的关系。这种机制通过Query、Key、Value三个矩阵来实现，使模型能够捕捉长距离的依赖关系。