one-api 同一个模型多示例部署问题

vuv7lop3 于 4个月前发布在其他

关注(0)|答案(3)|浏览(37)

base url 那里我猜测是不支持填写多个的吧?
那怎么解决多示例负载问题呢?
比如我有两个机器都部署了ChatGLM6B模型, 如何同时接入one-api? 解决负载均衡问题

来源：https://github.com/songquanpeng/one-api/issues/1083

3条答案

按热度按时间

添加成两个渠道？

赞(0）回复(0）举报 4个月前

添加成两个渠道？
怎么自动负载啊?

赞(0）回复(0）举报 4个月前

添加成两个渠道？
怎么自动负载啊?
随机负载。

赞(0）回复(0）举报 4个月前

相关问题

热门标签

Java query python Node 开发语言 request Util 数据库 Table 后端算法 Logger Message Element Parser

最新问答

xxl-job 安全组扫描到执行器端口服务存在信息泄露漏洞
回答(1) 发布于 3个月前
xxl-job 不能和nacos兼容？
回答(3) 发布于 3个月前
xxl-job 任务执行完后无法结束，日志一直转圈
回答(3) 发布于 3个月前
xxl-job-admin页面上查看调度日志样式问题
回答(1) 发布于 3个月前
xxl-job 参数512字符限制能否去掉
回答(1) 发布于 3个月前