pytorch torchserve模型不运行,并给出一个错误负载

7lrncoxx  于 2023-02-08  发布在  其他
关注(0)|答案(1)|浏览(279)

我运行了以下命令
torch-model-archiver --model-name "bert" --version 1.0 --serialized-file ./bert_model/pytorch_model.bin --extra-files "./bert_model/config.json,./bert_model/vocab.txt" --handler "./handler.py"
我创建了所有的文件,然后创建了一个新目录,并将模型复制到其中。
然后我执行了以下命令:

torchserve --start --model-store model_store --models bert=bert.mar

然后它显示了一系列错误。
这是我的错误文本。它太长而且重复;因此,我把它贴在了粘贴箱上。
error

tjrkku2a

tjrkku2a1#

我建议降低每个模型的工作人员数量(每个模型的默认工作人员:12)现在你得到了你能处理的最大数量
怎么做?转到config.properties文件并添加(第一行指示工作人员为2):

default_workers_per_model=2

然后,当你要做torchserve添加这个(ts-config选项指向你的www.example.com文件的位置config.properties):

torchserve  --start \
            --model-store  ./deployment/model-store \
            --ts-config ./deployment/config.properties \
            --models bert=bert.mar

如果这样可以解决错误,请告诉我。
注意:您也可以在www.example.com文件中添加其他参数config.properties,例如:

inference_address=http://0.0.0.0:8080
management_address=http://0.0.0.0:8081
metrics_address=http://0.0.0.0:8082
default_workers_per_model=2
number_of_netty_threads=1
netty_client_threads=1
prefer_direct_buffer=true

相关问题