bert 运行squad.py时,Squad 2.0在空问题文本或空段落上下文中失败,

uurv41yg  于 2个月前  发布在  其他
关注(0)|答案(6)|浏览(37)

运行squad.py的第834行:

Traceback (most recent call last):
  File "run_squad.py", line 1285, in <module>
    tf.app.run()
  File "/homes/hny2/mfeb/anaconda3/envs/bert-gpu/lib/python3.6/site-packages/tensorflow/python/platform/app.py", line 125, in run
    _sys.exit(main(argv))
  File "run_squad.py", line 1276, in main
    output_nbest_file, output_null_log_odds_file)
  File "run_squad.py", line 834, in write_predictions
    feature = features[pred.feature_index]
IndexError: list index out of range

失败看起来像是空/错误的预测:

PrelimPrediction(feature_index=0, start_index=0, end_index=0, start_logit=0, end_logit=0)

问卷调查中没有明显的问题。在squad 1.1下,相同的问卷调查工作正常。
同时,在删除version_2_with_negative=True后也可以正常运行。

mnowg1ta

mnowg1ta1#

更新:
问题似乎是问卷文件中的一个空条目。所以我要说这是我的错,在生成问卷时没有跳过它。

hi3rlvi2

hi3rlvi22#

重新开放,因为这个问题已经重复出现了。
仍在努力确定语料库和/或问卷内容中的任何贡献,例如,错误的字符或难以解释的单词。
当手动格式化为问题和语料库段落时,相同的内容似乎可以正常工作。

tv6aics1

tv6aics13#

叹气。好的 - 大型自动生成的问卷可能会有问题。只有一个空问题或一个空段落上下文将杀死小队2。
我会保持这个开放状态,因为小队处理应该检测并跳过或报告案例。
就我而言,防止这种情况是必要的。

jgzswidk

jgzswidk4#

你好,我在使用tensorflow-serving加载一个微调过的squad模型时遇到了同样的问题,你解决了吗?

pcww981p

pcww981p5#

你好,我在使用tensorflow-serving加载一个微调过的squad模型时遇到了同样的问题,你解决了吗?

lhcgjxsq

lhcgjxsq6#

当我设置问题数量为1时,它运行正常。但是当问题数量大于1时,仍然存在一些没有有效预测的问题。而离线预测无论问题数量多少都没有问题。
等待帮助

相关问题