视频字幕
神经网络在理论上被称为万能函数逼近器。这意味着具有至少一个隐藏层和非线性激活函数的前馈神经网络，可以以任意精度逼近任何连续函数。这种强大的能力并非来自纯粹的线性代数，而是来自线性代数运算与非线性运算的巧妙结合。
神经网络的基本构成包含两个关键步骤。首先是线性变换，即输入向量与权重矩阵相乘再加上偏置向量，这是纯粹的线性代数运算。然后是非线性激活，将线性变换的结果通过激活函数进行非线性映射。这两个步骤的结合使得神经网络能够学习复杂的非线性关系。
线性代数为神经网络提供了数据转换和特征组合的框架。矩阵乘法和向量加法使网络能够对输入数据进行复杂的线性组合和空间变换。通过调整权重矩阵和偏置向量，网络可以在输入空间中找到最佳的线性分割或投影方向。但是，如果神经网络只包含线性变换而没有非线性激活函数，那么无论堆叠多少层，整个网络最终都只会等价于一个单一的线性变换。
非线性激活函数是神经网络万能逼近能力的关键。它们打破了线性限制，引入了弯曲和折叠空间的能力。常见的激活函数包括ReLU、Sigmoid和Tanh。没有非线性激活函数，神经网络只能创建线性决策边界。而有了非线性激活函数，网络就能够构建复杂的非线性决策边界，从而逼近任意复杂的函数。
万能逼近定理是神经网络强大能力的理论基础。通过足够多的神经元和至少一个隐藏层，结合线性变换和非线性激活，神经网络可以构建出任意复杂的决策边界或函数形状。线性代数提供了构建积木的能力，而非线性激活函数则允许这些积木以非线性的方式组合。因此，神经网络的万能性并非源于纯粹的线性结构，而是源于线性代数框架上引入的关键非线性元素。这就是为什么在线性代数理论中，神经网络被称为万能函数逼近器的根本原因。