OpenAI很长一段时间内都没有提供流模式下的token使用情况，所以我们不得不手动计算(参见 OpenAiStreamingResponseBuilder )。
现在他们在最后一个SSE事件中提供了它：https://cookbook.openai.com/examples/how_to_stream_completions#4-how-to-get-token-usage-data-for-streamed-chat-completion-response
我们应该用它来代替我们当前的方法。
可能需要调整 https://github.com/ai-for-java/openai4j
2条答案
按热度按时间i86rm4rw1#
@jdubois,你知道
include_usage是否会在Azure上得到支持吗？2j4z5cfb2#
我不知道-也许@agoncal知道他最近修改了那部分？我也向我们负责SDK的PM内部发送了信息，所以我们可以得到一个官方的答案。