gpt-2 关于核采样/潜在错误的问题

voj3qocg  于 4个月前  发布在  其他
关注(0)|答案(1)|浏览(152)

为什么在 top-k logits上实现核采样?(sample.py中的lines 65-66)我对论文的理解是,阈值应该在所有logits上实现。

uoifb46i

uoifb46i1#

在使用sample.py中第36行的nucleus采样实现时,我也遇到了一个bug。由于维度不匹配,tf.where操作失败;似乎min_values需要用vocab_size元素扩展一个额外的维度,以便匹配logits的形状。

相关问题