假设我有:
output = Dense(units=12, activation='sigmoid', activity_regularizer=L1(1e-2))(input)
Keras documentation表示activity regularizer "对层的输出应用惩罚",但它没有指定"输出"是指仅密集操作的输出,还是包括激活的整个层的输出。
对于我的问题,我需要活动正则化程序在激活后应用。如果Keras以相反的方式实现它,我如何修复它?
假设我有:
output = Dense(units=12, activation='sigmoid', activity_regularizer=L1(1e-2))(input)
Keras documentation表示activity regularizer "对层的输出应用惩罚",但它没有指定"输出"是指仅密集操作的输出,还是包括激活的整个层的输出。
对于我的问题,我需要活动正则化程序在激活后应用。如果Keras以相反的方式实现它,我如何修复它?
1条答案
按热度按时间ulydmbyx1#
Keras在包括激活的整个层之后应用活动规则化。
如果滚动到密集层
call
方法的末尾,您将看到(如果已定义)在返回输出之前将激活应用于输出。活动正则化在
Layer
基类中的call
函数之后应用。