在#25完成后，我们希望在MII配置字典中公开所有DS推理配置(https://deepspeed.readthedocs.io/en/latest/inference-init.html#deepspeed.init_inference)和ZeRO推理配置。
gxwragnw1#
ZeRO推理目前采用的是通用的deepspeed配置json路径。我们是否也希望在deepspeed配置文件中暴露DS-inference配置？
hk8txs482#
好的点子@cli99,我忘了零推断PR会添加ds_config作为MII部署参数。现在先这样吧，但也许我们可以在不久的将来合并一些这些配置。
ds_config
2条答案
按热度按时间gxwragnw1#
ZeRO推理目前采用的是通用的deepspeed配置json路径。我们是否也希望在deepspeed配置文件中暴露DS-inference配置？
hk8txs482#
好的点子@cli99,我忘了零推断PR会添加
ds_config作为MII部署参数。现在先这样吧，但也许我们可以在不久的将来合并一些这些配置。