是否可以为text-generation-inference构建/发布一个arm64容器镜像？我想能够在基于arm64的NVIDIA GH200系统上运行它。谢谢，Jonathan
当前的镜像无法在arm64上运行。
我尝试自己构建镜像，但一直无法成功构建。
bkkx9g8r1#
你好，@dartcrossett 👋感谢你的请求。我认为目前在带宽方面，它还不在我们计划的范围内。但无论如何，我们正在对构建和部署的方式进行一些重大改变。基本上，将TGI后端与前端分离，这可能会使事情变得更容易。如果你在构建docker镜像方面取得了任何成功，请随时在这个问题中发布。同样，如果你知道任何潜在的问题和错误，请继续👍
iaqfqrcu2#
这些GPU的来源是什么？🥲 @dartcrossett
2条答案
按热度按时间bkkx9g8r1#
你好，@dartcrossett 👋
感谢你的请求。我认为目前在带宽方面，它还不在我们计划的范围内。但无论如何，我们正在对构建和部署的方式进行一些重大改变。
基本上，将TGI后端与前端分离，这可能会使事情变得更容易。
如果你在构建docker镜像方面取得了任何成功，请随时在这个问题中发布。同样，如果你知道任何潜在的问题和错误，请继续👍
iaqfqrcu2#
这些GPU的来源是什么？🥲 @dartcrossett