Keras的活动调节器:激活前还是激活后?

6uxekuva  于 2023-03-08  发布在  其他
关注(0)|答案(1)|浏览(117)

假设我有:

output = Dense(units=12, activation='sigmoid', activity_regularizer=L1(1e-2))(input)

Keras documentation表示activity regularizer "对层的输出应用惩罚",但它没有指定"输出"是指仅密集操作的输出,还是包括激活的整个层的输出。
对于我的问题,我需要活动正则化程序在激活后应用。如果Keras以相反的方式实现它,我如何修复它?

ulydmbyx

ulydmbyx1#

Keras在包括激活的整个层之后应用活动规则化。
如果滚动到密集层call方法的末尾,您将看到(如果已定义)在返回输出之前将激活应用于输出。
活动正则化在Layer基类中的call函数之后应用。

相关问题