text-generation-inference 为了与OpenAI API兼容,添加/v1/models API端点,

3qpi33ja  于 4个月前  发布在  其他
关注(0)|答案(3)|浏览(81)

功能请求

/v1/models/ 端点添加到列出模型信息的列表中。这基本上与 /info 端点提供的信息相同,只是符合 OpenAI API 的要求。

动机

许多其他工具期望 /v1/models 能够列出可用的模型。

你的贡献

我可以尝试提交一个 PR

siv3szwd

siv3szwd1#

你好,@ktrapeznikov 👋
对我来说这是有意义的。如果你有时间制作PR,请随时继续 🙌

798qvoo8

798qvoo82#

这对我的使用案例也非常有帮助!

v2g6jxz6

v2g6jxz63#

太棒了🙌,我们目前在带宽方面受到很大限制。但一旦实现这个功能,应该会很快。
此外,如果你有时间,请随时提交一个PR 👍

相关问题