激活函数
常见的激活函数
1. sigmoid函数
函数的定义
f(x) = \frac{1}{1 + e^{-x}}
，其值域为
(0,1)
。 函数图像
2. tanh激活函数
函数的定义为：
f(x) = tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}
，值域为
(-1,1)
。函数图像
3. Relu激活函数
函数的定义为：
f(x) = max(0, x)
，值域为
[0,+∞)
；函数图像
4. Leak Relu激活函数
函数定义为：
f(x) = \left{ \begin{aligned} ax, \quad x<0 \ x, \quad x>0 \end{aligned} \right.
，值域为
(-∞,+∞)
。图像如下（
a = 0.5
）：
5. SolftPlus 激活函数
函数的定义为：
f(x) = ln( 1 + e^x)
，值域为
(0,+∞)
。图像如下
6. softmax激活函数
函数定义为：
\sigma(z)j = \frac{e^{z_j}}{\sum{k=1}^K e^{z_k}}
。
Softmax 多用于多分类神经网络输出。
持续跟新中。。