one-api 支持vLLM调用发布的接口格式

wgeznvg7 于 6个月前发布在其他

关注(0)|答案(5)|浏览(57)

例行检查

我已确认目前没有类似 issue
我已确认我已升级到最新版本
我已完整查看过项目 README,已确定现有版本无法满足需求
我理解并愿意跟进此 issue,协助测试和提供反馈
我理解并认可上述内容，并理解项目维护者精力有限，不遵循规则的 issue 可能会被无视或直接关闭

功能描述

应用场景

自定义模型部署会用到vLLM服务，请支持一下这个主流的模型部署服务接口结构
或者提供一个配置方式

one-api

来源：https://github.com/songquanpeng/one-api/issues/578

5条答案

按热度按时间

jchrr9hc1#

可以提供测试环境吗？

赞(0）回复(0）举报 6个月前

gz5pxeao2#

可以的，我可以部署一个vLLM服务，他的endpoint是v1/completions。vLLM服务参考：GitHub - vllm-project/vllm: A high-throughput and memory-efficient inference and serving engine for LLMs。这是一个非常常用的model service server端，非常感谢支持。真的很需要。

回复的原邮件：
| 发件人 | xdan_dev | 回复日期 | 2023年10月14日 16:13 | 收件人 | xdan_dev | 抄送人 | Gump ***@***.***> , ***@***.***> | 主题 | Re: [songquanpeng/one-api] 支持vLLM调用发布的接口格式 (Issue #578) | 可以提供测试环境吗？ — 回复此电子邮件，直接查看GitHub上的版本，或取消订阅。您收到此消息是因为您创建了该线程。消息ID:xdan_dev。

赞(0）回复(0）举报 6个月前

snz8szmq3#

可以提供测试环境吗？
请联系我邮箱

赞(0）回复(0）举报 6个月前

oug3syen4#

@songquanpeng 这里有进展吗？很喜欢你们的接入方式，但是对于自定义模型的接入不是很友好。

赞(0）回复(0）举报 6个月前

mkh04yzy5#

需要有人提供测试环境，更希望有人能 PR，否则我只能周末按优先级挨个实现

赞(0）回复(0）举报 6个月前