视频字幕
Transformer是现代自然语言处理的核心架构。在Transformer中，神经网络主要指的是前馈神经网络，它是每个编码器和解码器层的重要组成部分。让我们先看看Transformer的整体结构。
前馈神经网络是Transformer中最重要的神经网络组件。它由两个线性变换层组成，中间使用ReLU激活函数。第一层将输入映射到更高维度的隐藏空间，经过非线性激活后，第二层再将其映射回原始维度。
在Transformer的每一层中，前馈神经网络位于自注意力机制之后。数据首先经过自注意力计算，然后通过残差连接和层归一化，接着进入前馈神经网络进行进一步的特征变换，最后再次经过残差连接和层归一化输出到下一层。
前馈神经网络在Transformer中起到关键作用。它负责对每个位置的表示进行非线性变换，增强模型的表达能力。FFN的隐藏层维度通常是输入维度的四倍，这种扩展-压缩的结构让模型能够学习更复杂的特征。值得注意的是，FFN的参数量占整个模型参数的三分之二左右。
总结一下，Transformer中的神经网络主要指的是前馈神经网络。它由两个线性层和激活函数组成，位于自注意力机制之后，负责对特征进行非线性变换。FFN参数量占整个模型的三分之二，是Transformer架构中不可缺少的核心组件。