你好
感谢这个漂亮的工作。@honnibal 我对使用预训练的语言模型来计算一个句子的困惑度分数很感兴趣。有没有办法使用这个仓库实现这个功能？
谢谢
2hh7jdfx1#
很遗憾，我们目前还没有这个功能。我希望在未来的版本中能提供它。
qvk1mo1f2#
关于这个有任何更新吗？
yshpjwxd3#
解：通过GPT-2计算困惑度是可能的，而像BERT这样的有遮掩语言模型(MLM)无法计算。在MLM的情况下，我们应该考虑其他指标。我认为伪困惑度是其中一个解决方案。
3条答案
按热度按时间2hh7jdfx1#
很遗憾，我们目前还没有这个功能。我希望在未来的版本中能提供它。
qvk1mo1f2#
关于这个有任何更新吗？
yshpjwxd3#
解：通过GPT-2计算困惑度是可能的，而像BERT这样的有遮掩语言模型(MLM)无法计算。在MLM的情况下，我们应该考虑其他指标。我认为伪困惑度是其中一个解决方案。