ChatGPT-3 OpenAI API Codex模型中的上下文窗口长度

fhg3lkii  于 2023-03-09  发布在  其他
关注(0)|答案(1)|浏览(518)

完成窗口长度是否包含在OpenAI Codex模型的上下文窗口长度中?
对于da-vinci,上下文窗口长度设置为4000标记。
以我的理解,举个例子,如果提示长度是3500 token,那么剩下的500是用来完成的,不可能把整个4000 token都用在提示上。
据我所知,我很确定,但如果能得到有见识的人的证实,那将是很有帮助的。

pxy2qtax

pxy2qtax1#

da-vinci的上下文长度为4096个标记。响应的提示标记和max_tokens不能大于上下文长度。
这是从OpenAI API文档:
提示符的标记计数加上max_tokens不能超过模型的上下文长度。大多数模型的上下文长度为2048个标记(最新的模型除外,它支持4096个标记)。
参考:https://platform.openai.com/docs/api-reference/completions/create

相关问题