目前TGI有tgi-gaudi来支持Gaudi 2的HPU,并且VLLM也包含在他们的roadmap in Q1 2024中。
DeepSpeed-MII是否也会支持Habana(HPU)硬件？
谢谢。
您正在编辑的内容已更改。请复制您的编辑并刷新页面。
任务
Beta Give feedback
目前没有跟踪的任务。
- 选项* 转换为问题
- 切换完成状态
- 重命名
- 删除
目前TGI有tgi-gaudi来支持Gaudi 2的HPU,并且VLLM也包含在他们的roadmap in Q1 2024中。
DeepSpeed-MII是否也会支持Habana(HPU)硬件？
谢谢。
您正在编辑的内容已更改。请复制您的编辑并刷新页面。
Beta Give feedback
目前没有跟踪的任务。
2条答案
按热度按时间sauutmhj1#
我们目前正在为DeepSpeed的训练侧开发HPU硬件的支持。我预计我们也会努力支持推理，但目前我们还没有关于支持方面的任何设定目标/截止日期。
xmakbtuz2#
感谢@mrwyattii。