视频字幕
传统的RNN和LSTM模型虽然能处理序列数据，但存在序列依赖问题，无法并行计算，训练效率较低。2017年，Transformer模型的提出彻底改变了这一现状。它通过自注意力机制实现了并行计算，成为了GPT、BERT等现代大语言模型的核心架构，开启了人工智能的新时代。
Transformer采用经典的编码器-解码器架构。编码器栈由6层编码器堆叠而成，负责处理输入序列并提取特征表示。解码器栈同样由6层解码器组成，用于生成输出序列。编码器和解码器之间通过注意力机制连接，实现信息传递。每一层都包含多头注意力机制和前馈神经网络，这种层次化的设计使得模型能够学习到复杂的语言模式。
自注意力机制是Transformer的核心创新。它通过Query、Key、Value三个矩阵来计算序列中每个位置对其他位置的关注程度。以"我爱北京天安门"为例，每个词都会关注句子中的所有词，包括自己。通过softmax函数计算注意力权重，形成注意力权重矩阵，然后对Value进行加权求和。这种机制让模型能够捕捉长距离依赖关系，实现并行计算。
多头注意力机制是对单头注意力的重要扩展。它将输入分割到多个子空间，每个注意力头专注于捕捉不同类型的语义关系，比如语法关系、语义关系、位置关系等。8个注意力头并行计算，大大提高了模型的表达能力和计算效率。最后将所有头的输出拼接起来，通过线性变换得到最终的多头注意力输出。这种设计让模型能够同时关注多种不同的语言模式。
位置编码是Transformer解决序列位置信息的关键机制。由于自注意力机制本身无法感知位置信息，Transformer使用正弦和余弦函数为每个位置生成唯一的位置编码。不同频率的正弦余弦波形为不同位置提供了独特的编码模式。位置编码与词嵌入相加，形成最终的输入表示，这样模型就能同时获得词汇语义和位置信息，支持处理任意长度的序列。