one-api 能否考虑加入队列的支持?

kdfy810k  于 5个月前  发布在  其他
关注(0)|答案(1)|浏览(55)

例行检查

  • 我已确认目前没有类似 issue
  • 我已确认我已升级到最新版本
  • 我已完整查看过项目 README,已确定现有版本无法满足需求
  • 我理解并愿意跟进此 issue,协助测试和提供反馈
  • 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

功能描述

感谢作者的辛勤付出,本项目的确解决了我很大的困扰。能否就渠道上加入队列功能?或者有什么别的途径可以实现?

应用场景

我的模型是部署在本地的,有一部分是通过 ollama 部署的,有一部分是 HF 模型自己写了一个后台运行的脚本(转换成 ollama 一直不成功),现在有几名小伙伴在做开发还没有到上到应用上,并发控制不好就爆显存了,one-api 现在我们主要是在当网关在用,所以如果这个层面能支持队列那就太棒了。

相关问题