完成窗口长度是否包含在OpenAI Codex模型的上下文窗口长度中?对于da-vinci,上下文窗口长度设置为4000标记。以我的理解,举个例子,如果提示长度是3500 token,那么剩下的500是用来完成的,不可能把整个4000 token都用在提示上。据我所知,我很确定,但如果能得到有见识的人的证实,那将是很有帮助的。
da-vinci
4000
3500
500
pxy2qtax1#
da-vinci的上下文长度为4096个标记。响应的提示标记和max_tokens不能大于上下文长度。这是从OpenAI API文档:提示符的标记计数加上max_tokens不能超过模型的上下文长度。大多数模型的上下文长度为2048个标记(最新的模型除外,它支持4096个标记)。参考:https://platform.openai.com/docs/api-reference/completions/create
1条答案
按热度按时间pxy2qtax1#
da-vinci的上下文长度为4096个标记。响应的提示标记和max_tokens不能大于上下文长度。
这是从OpenAI API文档:
提示符的标记计数加上max_tokens不能超过模型的上下文长度。大多数模型的上下文长度为2048个标记(最新的模型除外,它支持4096个标记)。
参考:https://platform.openai.com/docs/api-reference/completions/create