langchain4j [特性] OpenAI:用于gpt-4o的分词器(更新jtokkit)

dgsult0t  于 2个月前  发布在  其他
关注(0)|答案(1)|浏览(30)

gpt-4o uses a different tokenizer, we need to update jtokkit version once it is released

r1zhe5dt

r1zhe5dt1#

我相信这已经由#1499关闭了。
编辑:也许不是;OpenAiTokenizer也需要进行修订。

相关问题