src/model.py脚本中的gelu函数使用了numpy.sqrt和numpy.pi,这对GPU性能有什么影响,它是否可以与GPU一起使用?如果不能,应该在tf中将其更改为类似的函数。
lymgl2op1#
你是说这部分:np.sqrt(2/np.pi)?我认为可以用计算一次的常数值(0.7978845608028654)来替换。只需决定精度就足够了。
np.sqrt(2/np.pi)
1条答案
按热度按时间lymgl2op1#
你是说这部分:
np.sqrt(2/np.pi)
?我认为可以用计算一次的常数值(0.7978845608028654)来替换。只需决定精度就足够了。