unilm 如何预测图像在关系提取任务中?

r55awzrz  于 5个月前  发布在  其他
关注(0)|答案(5)|浏览(56)

描述

我正在使用的模型是LayoutXLM:
在从layoutxlm-base微调后,按照以下代码:

python -m torch.distributed.launch examples/run_xfun_re.py \
        --model_name_or_path layoutxlm-base \
        --output_dir ./re/train_1 \
        --do_train \
        --do_eval \
        --lang zh \
        --max_steps 1000 \
        --warmup_ratio 0.1 \
        --fp16

我得到了一个新的用于关系提取任务的模型。但是我不知道如何使用这个模型进行预测?
如果我有一张新的图片和OCR结果,如何根据给定的信息预测关系?
我在源代码中找不到指导方针,有人能提供一个测试代码吗?
这段代码对于新手来说不太友好。

iyfjxgzm

iyfjxgzm1#

此外,在run_xfun_re.py中没有预测代码,如果我从run_xfun_ser.py中复制相同的预测代码,它将无法正常工作。预测代码如下:

# Predict
    if training_args.do_predict:
        logger.info("*** Predict ***")
        predictions, labels, metrics = trainer.predict(test_dataset)
        predictions = np.argmax(predictions, axis=2)
        # Remove ignored index (special tokens)
        true_predictions = [
            [label_list[p] for (p, l) in zip(prediction, label) if l != -100]
            for prediction, label in zip(predictions, labels)
        ]
        trainer.log_metrics("test", metrics)
        trainer.save_metrics("test", metrics)
        # Save predictions
        output_test_predictions_file = os.path.join(training_args.output_dir, "test_predictions.txt")
        if trainer.is_world_process_zero():
            with open(output_test_predictions_file, "w") as writer:
                for prediction in true_predictions:
                    writer.write(" ".join(prediction) + "\n")
vngu2lb8

vngu2lb82#

@ranpox, 你能帮我解决这个问题吗?谢谢。
yh2wf1be

yh2wf1be3#

有任何更新吗?

iezvtpos

iezvtpos4#

同样的问题,当我推断图像时,传递entities=None和relations=None会导致错误。

gr8qqesn

gr8qqesn5#

有任何更新吗?
看起来没有人维护这个项目...

相关问题