先决条件：建议对机器学习算法有一定了解，对人工神经网络有基本了解。
什么是神经网络的激活函数？
激活功能有助于决定我们是否需要激活神经元。如果我们需要刺激一个神经元，信号的强度是多少。
激活功能是神经元通过神经网络处理和传递信息的机制。
为什么我们需要神经网络中的激活函数？
在神经网络中，z是输入节点和节点权重加上偏差的乘积。z的方程看起来非常类似于线性方程，并且可以具有从无穷大到-无穷大的值。
如果神经元值的范围可以从 -infinity 到 + infinity，那么我们将无法决定是否需要触发神经元。
这就是激活帮助我们解决问题的地方。
如果z本质上是线性的，那么我们就无法解决复杂的问题。这是我们使用激活函数的另一个原因。
激活函数的种类
有不同类型的激活功能，其中一些非常常见和流行：
阈值或二进制阶跃激活函数
乙状结肠的
Softmax
双曲正切
ReL心理咨询师报考条件U和
泄漏Re模块建房LU
为什么我们需要这么多不同的激活功能，我如何决定使用哪一个？让我们回顾一下每个激活功能，并找出它们的最佳使用位置和原因。这将帮助我们决定计划软件在不同的场景中使用哪个激活功能。
阈值或阶跃函数(Thr正常血压值eshold or Binary Step function)
这是最简单的函数，可以认为是是或否函数
如果z的值高于阈值，则激活被设置为1，否则神经元将被激发。如果z的快速值低于阈值，则激活被设置为0或视觉设计否，并且神经元将不会被触发。它们对二进制分类很有用。
Sigmoid 激活函数
西格莫伊
d商品房 函数是一个平滑的非线性函数，没有扭结，看起来像 S 形。它可以预测输出的概率，因此用于神经网络的输出层和逻辑回归。
由于概率在 0 到 1 之间，所以 sigmoid 函数值存在于 0 到 1 之间。
但是，如果我们想要分类的不仅仅是是或否怎么办？如果我想预测多个类，比如预测晴天、雨天或多云的天气怎么办？
Softmax 激活有助于多类分类
Softmax 激活函数
Sigmoid 激活函数用于两类或二元类分类，而 So田园女ftmax 用于多类分类，是 Sigmoid 函数的推广心理罪之城市之光。
在 Softmax 中，我们得到每个类的概了解河流率总和应该等于1。当一个成功经典短句类的概率增加英文自我介绍时，其他类的概率会减小，因此概率最高的类是输出类。
示例：在预测天气时为了你我愿意热爱整个世界，我们可能会得到晴天的输出概率为 0.68，阴天的输出概率为 0.22，雨天的输出概率为 0.20。在这种情况下，我们将具有最大概率的输出作为最终输出。在这种情况下，我们将预测天气晴朗。
Softmax 计算每个目标类一个手机号可以注册几个微信的概率超过所有可能的目标类的概率。
双曲正切激活函数（Hyperbolic Tangent or Tanh Activation Function）
对于双曲 tanh 函数，输出以 0 为中心，输出范围在 -1 和 +1 之间。
看起来与 sigmoid 非常相似。
实际上双曲 tanh 是缩放的 sigmoid 函数。与 sigmoid 相比，tanh 的梯度下降更强，因此优于 sigmoid。
tanh 的优点是负输入将被映射为强负，零输入将映射到接近零，这在 sigmoid 中不会发生，因为正常血糖 sigmoid 的范围在 0 和 1 之间
整流线性单元-ReLU （Rectifier如果月亮不抱你 Linear Unit-ReLU
）
ReL模块电源U本质上是非线性的，这意味着百度它的斜率不是恒定的。 Relu 在零附近是非线性的，但斜率为 0 或 1，因此具有有限的非线性。
范围是从 0 到无穷大
当 z 为正时，ReLU 给出与输入相同的输出。
当 z 为零或小于零时，它的输出为 0。因此，当输入为零或小于零时，ReLU 会意思相近的词语关闭神经元。
所有深度代码学习模型都使用 Relu，但它只能用于隐藏层，因为它会导致稀疏性其实歌词。稀疏性是指其实你不懂我的心空值或“NA”值的数量。
当隐藏层暴露于一系列输入值时，整流函数将导致更多的零，从而导致更少的渗透演员表神经元被激活，这意味着神经网络之间的交互更少。
ReLU 比 sigmoid 或 tanh 更积极地打开或关闭神经元
Rel但是我拒绝u 面进行性神经系统疾病有哪些临的挑战是负值变为零会降低模型正确训练数据的能力。为了效率公式解决这个问题，我们有 Leaky ReLU
Leaky ReLU
Le百度下载aky ReLU. Value of a is usually 0.01
在leaky ReLU 中，我们引入了一个小的负斜率，因此它没渗透压有零斜率。这有助于加快训练。
Lea还是阿朱外卖合集ky ReLU 的范围从 -infinity 到 +infinity
这将很好地理解不同的激活函数。
