已关闭。此问题需要更focused。目前不接受答案。
**想要改进此问题吗？**更新问题，使其仅关注editing this post的一个问题。
上个月关门了。
Improve this question
GPT 3或其他模型如何从下一个单词预测到情感分析，对话，摘要，翻译......？
它的理念和算法是什么？它是如何工作的？
例如，生成段落是生成下一个单词，然后是下一个...下一个...
另一方面，情感分析任务是文本的段落是好的/坏的，这是一个分类？从段落中提取有意义的句子是更不同的任务。
从下一个代币到......！
安德烈感谢您的答复。
看来我的问题还不够清楚，所以我来解释一下。下一个标记预测可以在正常的文本语料库上训练。
word1 w2 w3 w4 .....下一篇：情绪可以在句子上训练=>标记=>标签
sent1: word1 w2 w3 w4 ..... marker label1
sent2: word1 w2 w3 w4 ..... marker label2
sent3: word1 w2 w3 w4 ..... marker label3
....它不再是语料库下一代。它是下一代令牌。问题是你需要有标签数据！！
如何文本求和.让我们使用关键字提取（并最终句子选择基于这些关键字）再次u需要更复杂的标签。
paragraph1 => kw1
paragraph1 => kw2
paragraph2 => kw3
paragraph3 => kw4它仍然可以被认为是下一个令牌预测，但是您需要再次专门的LABELED数据。
所以我的问题只给出了语料库文本，你怎么做的情绪，文本摘要.等？
否则，GPT 3只是规模化的DNN，需要数千个工时来标记数据！！
飞跃在哪里？
2条答案
按热度按时间p1tboqfb1#
GPT-3是一个简单的自然语言生成器。
可以调整这些通用模型来执行特定任务，例如分类、翻译、摘要等。
为此，我们需要：
1.针对所需任务微调模型
1.预处理查询
1.查询NLG（调用API）
1.后处理答案
示例：
1-微调：
2-查询示例：
2.1- 预处理查询（以与微调中相同的格式封装查询）：
3 -查询API。预期结果应为：
4 -后处理/格式：
'###'和任何其他多余的行。['Positive', 'Neutral', 'Negative']之间的精确匹配结果我希望这个例子足够清楚。你可以找到更多关于documentation和examples的信息。
vddsk6oq2#
我认为这是一个很好的问题。老实说，我也有同样的感觉。我不认为我完全理解安德烈提供的答案。这里有一些关于InstructGPT的额外信息，我发现这些信息在试图找到问题的答案时很有用。
我想这个问题也许可以解释为：在支持say指令时，我们是使用chatgpt输出并反馈给chatgpt？还是我们通过一个不同的子系统来进行训练？
为了回答这个问题，我发现InstructGPT很有用。用他们的话来说：
因此，InstructGPT是ChatGPT下面的底层堆栈。它与GPT的核心区别在于，InstructGPT在微调过程中使用了人工反馈方法，一旦通过InstructGPT框架进行了预训练，人类就会向GPT模型显示一组输出。
这是来自openai Team：https://cdn.openai.com/papers/Training_language_models_to_follow_instructions_with_human_feedback.pdf的关于InstructGPT的论文。
第3页上的图表显示了后续训练的架构。从这个图表中，可以看到标记的数据然后用于馈送到gpt训练。gpt训练将由openai执行（或者可能是任何拥有模型和训练基础设施的人）。
还有其他一些我觉得更可读的资源，比如：https://fourweekmba.com/instructgpt/