例行检查
- [x] 我已确认目前没有类似 issue
- [xx] 我已确认我已升级到最新版本
- [x] 我已完整查看过项目 README,已确定现有版本无法满足需求
- [x] 我理解并愿意跟进此 issue,协助测试和提供反馈
- [x] 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭
功能描述:
我在其他项目里面已经把 chatgpt 的 api 的 key 和 url 地址修改成自己架设的 one-api 的相关url和 key ,并且成功运行了。现在有个需求:每次调用这个 one-api 进行流式问答后,能否有功能去获取这次问答扣除的原始 tokens 数量。这样就形成一个完美闭环功能了。
应用场景:
第三方程序使用 one-api 的 key 池管理后。能获取每次的原始耗费 tokens 数目,这样就可以结合自己的计费系统进行细化处理。
4条答案
按热度按时间wvyml7n51#
要么加 API,要么修改返回体,要么修改返回的 Header,目前看修改 Header 最方便。
gtlvzcf82#
如果数据流是stream的话,我个人认为你的思路:修改header是最方便的方法。在最后一个done的信息的head或者body里面加上一个耗用tokens数目。这样就不用api的调用方去做累加,获取耗费tokens的信息了。
5ssjco0h3#
OpenAI 的官方 API 也没有很好的解决这个问题。在非流式中倒是带有信息,但在流式中需要自己进行计算,非常麻烦。
voase2hg4#
客户端代码已经更新好了。请等待API更新。