神经网络常用传递函数

在深度学习里面,每层神经网络的数据传递和回归都会用到传递函数来实现。传递函数如何使用,不是本节讲的内容。本节主要介绍各种常用传递函数的数学性质。

函数名称映射关系图像说明
阶梯函数
Step
a=0,n<=0
a=1,n>0
n大于等于0时,输出1,否则输出0
符号函数
Sgn
a=-1,n<0
a=1,n>=0
n大于等于0时,输出1,否则输出-1
线性函数
Linear
a=nn本身就是神经元输出
饱和线性函数
Ramp
a=0,n<0
a=n,0<=n<=1
a=1,n>1
n小于0时,输出0,
n在0到1 区间时, 输出n,
n大于1时, 输出1
对数S型函数
Sigmoid
a=1/(1+exp(-n))
a`=a*(1-a)
有界函数,无论n如何,输出永远在 (0,1)区间

n→负无穷:a=0
n→正无穷:a=1
对双曲正切S形函数
Tanh
v1=exp(n) – exp(-n)
v2=exp(n)+exp(-n)
a=v1/v2
a` = 1-[a^2]
有界函数,无论n如何,输出永远在 (-1,1)区间

n→负无穷:a=-1
n→正无穷:a=1
线性整流函数
RELU
a = max(n,0)
a’ = (n>0:1
n<=0 :0
)
n>0:a=n
n<=0:a=0

神经网络常用传递函数
滚动到顶部