DeepSpeed-MII 将deepspeed mii.client Package 在服务中的推荐方法是什么?

kx5bkwkv  于 6个月前  发布在  其他
关注(0)|答案(1)|浏览(69)

我们尝试将 mii.client Package 成一个 FastAPI 服务,但是当 client.generate 被触发时,它会抛出以下错误。我怀疑这是因为 mii.client 已经使用了事件循环。

我们想要这个 Package 器的原因是为了灵活性,例如,我们将能够添加一些控制逻辑来拒绝请求,当负载超过某个阈值时,我们将能够报告负载等。

klsxnrf1

klsxnrf11#

我们意识到客户端与FastAPI的兼容性不佳。目前正在进行调查,一旦有更新,我们会分享给大家!谢谢

相关问题