神经网络算法中的激活函数有哪些常用的选择？
常用的激活函数包括sigmoid函数、tanh函数、ReLU函数和Leaky ReLU函数。Sigmoid函数将输入映射到(0,1)的区间，适合用于二分类问题；tanh函数将输入映射到(-1,1)的区间，适合用于分类问题；ReLU函数将负数部分归零，保留正数部分，解决了梯度消失问题，是目前最常用的激活函数之一；Leaky ReLU函数在负数部分不是归零而是保留一个较小的斜率，解决了ReLU函数中负数部分的神经元失活问题。除了这些常用的激活函数外，还有一些变种和改进的激活函数，如ELU函数、Maxout函数等，可以根据具体的问题和实验来选择适合的激活函数。
关键词：神经网络，激活函数，sigmoid函数，tanh函数，ReLU函数，Leaky ReLU函数，ELU函数，Maxout函数