haystack 支持在微调EmbeddingRetriever期间进行评估,

f1tvaqid  于 4个月前  发布在  其他
关注(0)|答案(2)|浏览(40)

您的功能请求是否与问题相关?请描述。

在这段代码中,我们可以使用训练集微调一个DPR模型,并使用开发集进行评估,然后我们可以看到从retriever.train()执行中打印出的指标。
然而,如果我们想要微调一个EmbeddingRetriever,它在底层使用了句子转换器,而retriver.train()没有一个dev_filename参数作为用户可以设置的显式参数。将其评估代码整合到检索器train()中作为开箱即用的解决方案会很有用,类似于DPR代码。
谢谢。

x7yiwoj4

x7yiwoj41#

感谢您提出的功能建议。我完全同意参数应该更相似,以便DPR和EmbeddingRetriever训练更容易使用。👍在Haystack的其他部分中,我们也在重新设计Haystack 2.0的评估。敬请期待!

hs1ihplo

hs1ihplo2#

感谢您的这个功能建议。我完全同意参数应该更相似,以便DPR和EmbeddingRetriever训练更容易使用。👍在Haystack的其他部分中,我们也在重新设计Haystack 2.0的评估。敬请期待!

相关问题