GPT-3长输入帖子用于问题解答

sdnqo3pr  于 2023-03-03  发布在  其他
关注(0)|答案(1)|浏览(177)

据我所知,GPT-3是通过在所需/测试示例之前包含一些带标签的示例来“训练”特定任务的。在问答中,这包括上下文和问题。在这种情况下,输入提示可能会变长。人们如何解决这个问题?
我使用的是Hugging Face GPT-J实现,并且有一个输入令牌限制(2000)。然而,当在提示中包括多个qa示例(特别是上下文)时,它很快就达到了这个限制,限制了要输入的示例提示的数量。有人知道在GPT-J设置中如何处理这个问题吗,特别是对于QA?

pjngdqdw

pjngdqdw1#

不幸的是,GPT-3和GPT-J都有2048个令牌上下文的限制,对此您无能为力。
在我的NLP Cloud API上,我建议的解决方案通常是微调GPT-J。微调GPT-J就像给模型提供大量的上下文。

相关问题