Sigmoid函数

定义

Sigmoid函数广义上指一类曲线呈S形、在输入绝对值较大时输出趋于饱和的函数，逻辑斯谛函数与双曲正切函数都可归入这一类；不加特别说明时，该名称特指逻辑斯谛函数(Logistic function)^[3]。其常用形式为 $\sigma(x)=\frac{1}{1+e^{-x}}$，输入取自全体实数，输出则落在开区间(0,1)内^[2]。

该函数光滑且严格单调递增，上下界分别为1与0，当输入趋于正无穷或负无穷时，取值渐近于这两个端点^[4]。函数的输出可以解释为样本属于正类的概率，因此在二分类任务中常充当概率估计与判别依据^[5]。

原理

函数以自然指数为基础构造：分母为 $1+e^{-x}$，当输入为0时输出恰为0.5，输入为正时输出大于0.5并随输入增大而逼近1，输入为负时则小于0.5并逼近0^[2]。其导数可写成输出自身的简单表达式 $\sigma'(x)=\sigma(x)\left(1-\sigma(x)\right)$，导数值域为(0,0.25]，即最大值在输入为0处取得^[6]。

在神经网络中，若某层采用该函数，需先把上一层输出经线性加权求和得到净输入，再代入函数得到该层输出；这种对中央区间增益大、对两侧区间增益小的特性，使网络能把显著特征推向中间区域^[2]。导数由输出直接算出，使得反向传播时无需重复做指数运算，这一性质是其被广泛采用的原因之一^[6]。

带斜率系数的形式 $f(x)=\frac{1}{1+e^{-\lambda x}}$（$\lambda>0$）可获得更陡或更平缓的过渡；另有值域为[-1,1]的双极型变体 $f(x)=\frac{2}{1+e^{\lambda x}}-1$，其形状与双曲正切函数一致^[6]。

flowchart LR

A[上一层输出] --> B[线性加权求和 z]

B --> C[代入 sigmoid 函数]

C --> D[输出 a 属于 0 到 1]

D --> E[作为下一层输入或概率]

发展历程

该函数最早由比利时数学家皮埃尔·弗朗索瓦·韦吕勒(Pierre François Verhulst)在1838年提出，他在用数学模型描述人口增长时引入S形曲线，用来表示群体增长的饱和特征^[3]。在生物学中，同类S形曲线也被用于描述生长过程，因此有S型生长曲线之称^[1]。

20世纪50年代至60年代前期，随着感知机模型的发展，该函数开始进入机器学习领域，为后续的神经网络算法奠定了基础^[3]。此后在反向传播算法推广的过程中，Sigmoid类函数因其非线性且平滑可导，成为隐层的常用选择^[6]。

在循环神经网络的门控结构中，该函数同样被用作门的激活，用来把取值限制在0到1之间，从而实现对信息的保留与遗忘^[6]。随着网络层数加深，S型饱和函数的梯度问题逐渐显现，修正线性单元等非饱和函数在深层模型中应用增多^[7]。

应用

在二分类与逻辑回归中，该函数把线性组合的结果转换为0到1之间的数值，作为判定为正类的概率，分类阈值通常取0.5^[5]。由于函数单调递增、连续可导，模型参数可以通过梯度方法求解^[5]。

在传统多层感知机与BP网络中，隐层激活常取这一函数，输出层则视任务选用线性函数；网络训练时借助其导数把误差逐层回传，更新权重与阈值^[6]。

门控循环结构中的输入门、遗忘门和输出门也使用该函数，其输出接近0时对应信息被丢弃，接近1时对应信息被保留，网络由此学习哪些数据应当保留^[6]。此外，它还可作为人工神经元的压缩型传递函数，把任意大的输入限定在有限输出范围内，便于后续计算^[6]。

局限

函数两端存在饱和区，输入绝对值很大时梯度趋近于零，据链式法则回传的误差会随之缩小，深层网络因此容易出现梯度消失，训练收敛变慢甚至停滞^[2]。其导数最大仅为0.25，即使输出误差较大，权重每次调整的幅度也相对有限^[6]。

函数输出恒为正、不以零为中心，这会使后一层神经元接收到的输入分布发生偏移，权重更新方向趋于一致，进而影响收敛速度^[5]。同时，指数运算与含除法的求导带来较大计算开销^[8]。

该函数更适合处理二分类或特征差异不悬殊的情形，面对多分类任务表现受限，通常需要配合其他输出方式^[5]。以零为中心的双曲正切函数在收敛速度上优于它，但同样未能解决梯度消失^[1]。

参见

• 激活函数 —— 神经网络中为模型引入非线性变换的函数，Sigmoid函数是其中一类经典选择。

• 双曲正切函数 —— 值域为[-1,1]的S型函数，常被视为Sigmoid函数的对称改进形式。

• 逻辑回归 —— 以Sigmoid函数作为概率映射的二分类模型。

• 反向传播算法 —— 依据梯度逐层更新参数的训练方法，Sigmoid函数的可导性在此发挥作用。

• 梯度消失 —— 深层网络中梯度逐层衰减的现象，与Sigmoid函数的饱和特性相关。

• 长短期记忆网络 —— 在门控单元中使用Sigmoid函数控制信息保留与遗忘的循环网络结构。