DeepSpeed-MII Use of dtype in the mii fastgen

q0qdq0h2  于 6个月前  发布在  其他
关注(0)|答案(1)|浏览(78)

我想使用fp16作为数据类型。有办法指定吗?我在遗留代码中可以看到它,但在mii.serve使用的配置中看不到。如果我将dtype作为fp16传递给mii.serve,会导致错误。如果有任何帮助,我将不胜感激。

iswrvxsc

iswrvxsc1#

你好,@gangooteli。目前我们将fp16作为默认数据类型(在当前的mii.serve API中没有提供更改此设置的方法)。

相关问题