Transformer是2017年由Google提出的革命性深度学习模型，发表在著名论文《Attention is All You Need》中。它彻底改变了自然语言处理领域，摒弃了传统RNN和LSTM的循环结构，完全基于自注意力机制。与传统模型的串行处理不同，Transformer支持并行计算，大大提高了训练效率，成为了现代自然语言处理的基础架构。
自注意力机制是Transformer的核心创新。它通过Query、Key、Value三个矩阵来计算注意力权重。对于输入序列中的每个词，模型都会生成对应的Q、K、V向量。然后通过Q和K的点积计算注意力分数，经过softmax归一化后得到注意力权重，最后与V相乘得到输出。这样模型就能学习到序列中每个位置与其他位置的相关性。
Transformer编码器采用堆叠的层次结构，每层都包含相同的组件。首先输入经过词嵌入和位置编码相加，然后进入多头自注意力层，接着通过残差连接和层归一化。之后数据流经前馈神经网络，再次经过残差连接和层归一化。这种设计使得信息能够有效流动，同时保持梯度稳定性。编码器的输出是输入序列的丰富上下文表示。
Transformer解码器在编码器基础上增加了关键的掩码机制。解码器包含三个主要的注意力层：首先是掩码自注意力层，它使用掩码矩阵防止模型看到未来的信息；然后是编码器-解码器交叉注意力层，它让解码器能够关注编码器的输出；最后是前馈神经网络。每个子层都有残差连接和层归一化。这种设计确保了解码器能够自回归地生成序列，同时有效利用编码器提供的上下文信息。
由于Transformer完全基于注意力机制，没有循环或卷积结构，因此无法自然地感知序列中词的位置信息。为了解决这个问题，Transformer引入了位置编码机制。位置编码使用正弦和余弦函数为每个位置生成唯一的编码向量。对于偶数维度使用正弦函数，奇数维度使用余弦函数。这些位置编码向量与词嵌入向量相加，形成模型的最终输入，使模型能够理解词在序列中的相对位置关系。