最终用户可以从x1c 0d1x等PDF中复制表格
，将文本粘贴到openaiPlayground
bird_id bird_posts bird_likes
012 2 5
013 0 4
056 57 70
612 0 12并将提示gpt“Create table with the given text”，gpt将生成如下表：
这和预期的一样工作得很好。但是当我的输入文本很大（比如1076个标记）时，我会遇到以下错误：
Token limit error: The input tokens exceeded the maximum allowed by the model. Please reduce the number of input tokens to continue. Refer to the token count in the 'Parameters' panel for more details.我将使用Python进行文本预处理，并从UI中获取数据。如果我的输入是文本数据（如段落），我可以使用Langchain建议的approaches。但是，我将无法使用汇总与表格文本迭代，因为我可能会松散的行/列。
有什么建议吗？
1条答案
按热度按时间xqk2d5yq1#
一般来说，这不能解决任何表大小的问题-这些模型只有有限的上下文长度，这是它们的硬限制。据我所知，这是目前正在积极研究的课题，例如：https://arxiv.org/abs/2304.11062（但这并没有在OpenAI端实现，有它自己的局限性和困难）。
您可以尝试新的
gpt-3.5-turbo-16k模型，它的上下文大小为16384个令牌（相比之下，您似乎使用的gpt-3.5-turbo的4096个令牌）。