我目前正在使用HuggingFace的T5实现来进行文本生成，更具体地说，我正在使用T5ForConditionalGeneration来解决文本分类问题。
经过训练，模型的性能总体上是非常令人满意的，但是我想知道的是我如何才能得到生成的logits？
我目前正在通过model.generate(**tokenizer_outputs)按照文档中的建议执行推理，但这只是输出ID本身，而没有任何其他内容。
我之所以需要logit值，是因为我想衡量模型生成的置信度，我不能100%确定我的方法是否正确，但我认为如果我能得到每个生成的标记的logit值并取平均值，我就能得到生成序列的整体置信度得分。
有人知道我怎么做吗？谢谢。
1条答案
按热度按时间6g8kf2rb1#
我对此很纠结，因为我不熟悉Transformers库是如何工作的，但是在看了源代码之后，您所要做的就是将参数
output_scores和return_dict_in_generate设置为True。要了解更多信息，请查看方法
transformers.generation_utils.GenerationMixin.generate。