人工神经网络中的激活函数有哪些常见的选择？
人工神经网络中常见的激活函数包括Sigmoid函数、Tanh函数、ReLU函数和Leaky ReLU函数等。这些激活函数在神经网络中起着至关重要的作用，能够引入非线性因素，增强神经网络的表达能力。
-
Sigmoid函数：Sigmoid函数将输入的实数映射到(0,1)之间，公式为f(x) = 1 / (1 + exp(-x))。Sigmoid函数在早期的神经网络中被广泛使用，但在深度神经网络中常常出现梯度消失的问题。
-
Tanh函数：Tanh函数将输入的实数映射到(-1,1)之间，公式为f(x) = (exp(x) - exp(-x)) / (exp(x) + exp(-x))。Tanh函数相比Sigmoid函数能够将输入的均值移动到0附近，有利于神经网络的训练。
-
ReLU函数：ReLU函数将负输入映射为0，正输入保持不变，公式为f(x) = max(0, x)。ReLU函数能够有效缓解梯度消失的问题，且计算简单，因此在深度神经网络中得到广泛应用。
-
Leaky ReLU函数：Leaky ReLU函数在ReLU的基础上对负输入引入一个小的斜率，公式为f(x) = max(0.01x, x)，旨在解决ReLU函数在负输入部分的神经元“死亡”问题。
除了以上常见的激活函数外，还有诸如ELU、SELU等激活函数也在一些特定的神经网络结构中得到应用。在实际应用中，选择合适的激活函数需要考虑网络的结构、数据的特点以及具体的问题要求。
关键字：激活函数，人工神经网络，Sigmoid，Tanh，ReLU，Leaky ReLU