视频字幕
Sigmoid函数是机器学习和神经网络中最重要的激活函数之一。它的数学公式是σ(x) = 1/(1 + e^(-x))，其中e是自然对数的底数。这个函数最显著的特点是它的S形曲线，能够将任何实数输入平滑地映射到0和1之间的输出值。
Sigmoid函数具有几个重要特性。首先，它的输出范围严格限制在0到1之间，这使得它非常适合表示概率。当输入x趋向正无穷时，函数值趋向1；当x趋向负无穷时，函数值趋向0；当x等于0时，函数值恰好是0.5。此外，Sigmoid函数是连续且处处可微的，这在优化算法中非常重要。
Sigmoid函数的一个重要特性是它的导数形式非常优雅。导数公式为σ'(x) = σ(x) × (1 - σ(x))。这意味着我们可以用函数值本身来计算导数，而不需要重新计算复杂的指数函数。红色曲线显示了导数的形状，它在x=0处达到最大值0.25，然后向两边递减。这个性质使得Sigmoid函数在神经网络的反向传播算法中计算效率很高。
Sigmoid函数在机器学习中有广泛的应用。在神经网络中，它作为激活函数将神经元的线性组合输入转换为非线性输出。在逻辑回归中，Sigmoid函数将线性预测值映射到0到1之间的概率值，非常适合二分类问题。图中展示了一个典型的神经元结构，输入经过加权求和后通过Sigmoid函数产生输出。这种结构是深度学习的基础组件。
尽管Sigmoid函数在历史上很重要，但它也有一些局限性。最主要的问题是梯度消失，在函数的饱和区域（图中黄色区域），导数接近零，导致深层网络训练困难。此外，Sigmoid的输出不以零为中心，这会影响优化效率。现代深度学习更多使用ReLU等激活函数，它们计算简单且能有效缓解梯度消失问题。绿色曲线显示了ReLU函数的形状。