one-api 希望增加响应阈值设置项,超过阈值自动禁用并重试其他渠道,

mkh04yzy  于 4个月前  发布在  其他
关注(0)|答案(1)|浏览(38)

例行检查

  • 我已确认目前没有类似 issue
  • 我已确认我已升级到最新版本
  • 我已完整查看过项目 README,已确定现有版本无法满足需求
  • 我理解并愿意跟进此 issue,协助测试和提供反馈
  • 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

功能描述

当一个渠道请求时间几十秒也没响应,体验是非常糟糕的,而且是比较经常能遇到这种情况,如果后台可以设置一个请求响应时间,例如5秒,超过5秒没响应就自动切换其它渠道。

我的想法是可以增加两个配置项:

  1. 响应阈值(超过阈值立即重试其它渠道)
  2. 是否禁用(当请求超过响应阈值无响应时是否禁用该渠道)

oneapi已有自动重启渠道的功能,搭配这两配置,可以大大提高整体的使用体验。

应用场景

csbfibhn

csbfibhn1#

这些需要是渠道维度的配置了,确实是有意义的,之后处理一下,先 mark。

相关问题