Usage of activations

可以通过Activation层或通过所有正向层支持的activation参数来使用activation

from keras.layers import Activation, Dense

model.add(Dense(64))
model.add(Activation('tanh'))

这等效于:

model.add(Dense(64, activation='tanh'))

您还可以将元素级TensorFlow / Theano / CNTK函数作为激活传递:

from keras import backend as K

model.add(Dense(64, activation=K.tanh))

Available activations

elu

keras.activations.elu(x, alpha=1.0)

指数线性单位.

Arguments

  • x :输入张量.
  • alpha :负截面的标量斜率.

Returns

指数线性活化: x如果x > 0alpha * (exp(x)-1)如果x < 0 .

References


softmax

keras.activations.softmax(x, axis=-1)

Softmax激活功能.

Arguments

  • x :输入张量.
  • axis :整数,应用softmax归一化的轴.

Returns

张量,softmax转换的输出.

Raises

  • ValueError :如果dim(x) == 1 .

selu

keras.activations.selu(x)

比例指数线性单位(SELU).

scale * elu(x, alpha)等于: scale * elu(x, alpha) ,其中alpha和scale是预定义的常数. 选择alphascale的值,以便只要正确初始化权重(请参阅lecun_normal初始化)并且输入的数量"足够大"(请参见参考资料),就可以在两个连续的层之间保留输入的均值和方差.更多信息).

Arguments

  • x :一个张量或变量,用于为其计算激活函数.

Returns

缩放的指数单位激活: scale * elu(x, alpha) .

Note

  • 与初始化" lecun_normal"一起使用.
  • 与辍学变体" AlphaDropout"一起使用.

References


softplus

keras.activations.softplus(x)

Softplus激活功能.

Arguments

  • x :输入张量.

Returns

softplus激活: log(exp(x) + 1) .


softsign

keras.activations.softsign(x)

软签名激活功能.

Arguments

  • x :输入张量.

Returns

软签名激活: x / (abs(x) + 1) .


relu

keras.activations.relu(x, alpha=0.0, max_value=None, threshold=0.0)

整流线性单元.

使用默认值时,它将返回逐元素的max(x, 0) .

否则,得出: f(x) = max_value x >= max_valuef(x) = xthreshold <= x < max_valuef(x) = alpha * (x - threshold)否则.

Arguments

  • x :输入张量.
  • alpha :浮动. 负部分的斜率. 默认为零.
  • max_value :浮点型. 饱和度阈值.
  • 门槛 :浮动. 阈值激活的阈值.

Returns

张量.


tanh

keras.activations.tanh(x)

双曲正切激活函数.

Arguments

  • x :输入张量.

Returns

双曲激活: tanh(x) = (exp(x) - exp(-x)) / (exp(x) + exp(-x))


sigmoid

keras.activations.sigmoid(x)

乙状结肠激活功能.

Arguments

  • x :输入张量.

Returns

乙状结肠激活: 1 / (1 + exp(-x)) .


hard_sigmoid

keras.activations.hard_sigmoid(x)

硬的乙状结肠激活功能.

计算比S型激活更快.

Arguments

  • x :输入张量.

Returns

硬乙状结肠激活:

  • 0 if x < -2.5
  • 1 if x > 2.5
  • 0.2 * x + 0.5 if -2.5 <= x <= 2.5.

exponential

keras.activations.exponential(x)

指数(基数e)激活功能.

Arguments

  • x :输入张量.

Returns

指数激活: exp(x) .


linear

keras.activations.linear(x)

线性(即身份)激活函数.

Arguments

  • x :输入张量.

Returns

输入张量不变.

On "Advanced Activations"

比简单的TensorFlow / Theano / CNTK功能更复杂的激活(例如,可学习的激活,保持状态)可作为高级激活层使用 ,可以在模块keras.layers.advanced_activations找到. 这些包括PReLULeakyReLU .