当使用Flask部署一个微调过的分类任务在线时，每次发布都会重新加载模型。这需要大约4秒钟的响应时间，是否有避免重新加载的解决方案？
8ulbf1ek1#
你可以参考这个。在 run_classifier_predict_online.py 文件中导入 predict_online 函数。它首先会创建一个会话和图，并且你不需要每次发送请求时都初始化模型。
fcwjkofz2#
你可以参考这个。在 run_classifier_predict_online.py 文件中导入 predict_online 函数。它会首先创建一个会话和图，并且你不需要每次发送请求时都初始化模型。谢谢！
xqkwcwgp3#
您可以参考bert-as-service来提供和部署BERT模型。
bert-as-service
xqk2d5yq4#
您可以参考bert-as-service来提供和部署BERT模型。它适用于分类任务吗？
xxe27gdn5#
@mokundong You may refer to bert-as-service for serving and deploying BERT models.it works for classifier task?It didn't work for me for Question answering
5条答案
按热度按时间8ulbf1ek1#
你可以参考这个。
在 run_classifier_predict_online.py 文件中导入 predict_online 函数。它首先会创建一个会话和图，并且你不需要每次发送请求时都初始化模型。
fcwjkofz2#
你可以参考这个。
在 run_classifier_predict_online.py 文件中导入 predict_online 函数。它会首先创建一个会话和图，并且你不需要每次发送请求时都初始化模型。
谢谢！
xqkwcwgp3#
您可以参考
bert-as-service来提供和部署BERT模型。xqk2d5yq4#
您可以参考
bert-as-service来提供和部署BERT模型。它适用于分类任务吗？xxe27gdn5#
@mokundong You may refer to
bert-as-servicefor serving and deploying BERT models.it works for classifier task?
It didn't work for me for Question answering