对于文本生成模型,如果注解者能够对特定文本生成的质量进行评分,那将是非常好的。例如,请参阅附件中的不同注解工具(Label Studio)的图像:
vof42yt11#
你会写你的环境吗?谢谢!
ie3xauqp2#
这是一个新的项目类型功能请求!与环境关系不大。
whhtz7ly3#
@Hironsan 我们对添加这个新功能很感兴趣。我们的用例是图像标题项目,我们希望在评估阶段使用doccano,当人工标注者评估与图像配对的模型生成的标题的质量时。它应该类似于每个句子的星级分类(评分范围):
并且还有一个选项,如果需要的话可以添加新的文本 - 如果标注者认为没有一个建议的句子足够好地描述了图像,他们可以为图像添加自己的标题。我们有几个问题:
5m1hhzi44#
fivyi3re5#
can支持?
5条答案
按热度按时间vof42yt11#
你会写你的环境吗?谢谢!
ie3xauqp2#
这是一个新的项目类型功能请求!与环境关系不大。
whhtz7ly3#
@Hironsan 我们对添加这个新功能很感兴趣。我们的用例是图像标题项目,我们希望在评估阶段使用doccano,当人工标注者评估与图像配对的模型生成的标题的质量时。
它应该类似于每个句子的星级分类(评分范围):
并且还有一个选项,如果需要的话可以添加新的文本 - 如果标注者认为没有一个建议的句子足够好地描述了图像,他们可以为图像添加自己的标题。
我们有几个问题:
总的来说,我们考虑添加一个新的项目类型来评分图像标题。在这个新的项目类型中,我们将启用导入带有图像和每个图像的句子列表的数据集。每个句子旁边都会有一个星级评分范围 - 标注者必须从5个可能的标签中选择一个:1/2/3/4/5星。此外,还有一个选项可以添加一个新的句子。
我们很想听听你的意见
5m1hhzi44#
我刚刚制作了一个不带评分的图片标注原型。我认为这将是评分任务的基础。
fivyi3re5#
can支持?