例如，假设我打开操场，输入“嘎嘎”，模型会如何处理这5个字符，以确定接下来应该输入哪些字母或单词？(As事情发生了，GPT3在那个提示符上填上了“江湖郎中”，然后是一篇反对细胞治疗的长篇大论。奇怪）。
bbuxkriu1#
很难对GPT-3中发生的所有事情给予一个很好的总结，但我会尝试。首先，模型将单词Quack编码为标记表示，这些标记具有嵌入表示，标记随后通过模型的解码器组件，通过几个神经网络层。一旦第一个解码器转换器块处理标记，它将其结果向量向上发送到堆栈，由下一个块处理。每个块的过程相同。但是每个模块在自我注意和神经网络子层都有自己的权重，最后你会得到一个输出标记概率的数组，你可以使用组合后的数组（或数组的一部分），以选择模型认为是输出的最佳记号组合。这些令牌被解码回正常的文本，你得到你的咆哮反对细胞疗法回来。结果随请求中输入的发动机、温度和logit偏差而变化。我建议阅读下面两个链接，以获得更多关于内部发生的事情的见解，这两个链接都是由才华横溢的杰伊·阿拉玛撰写的。https://jalammar.github.io/how-gpt3-works-visualizations-animations/https://jalammar.github.io/illustrated-gpt2/
1条答案
按热度按时间bbuxkriu1#
很难对GPT-3中发生的所有事情给予一个很好的总结，但我会尝试。
首先，模型将单词Quack编码为标记表示，这些标记具有嵌入表示，标记随后通过模型的解码器组件，通过几个神经网络层。一旦第一个解码器转换器块处理标记，它将其结果向量向上发送到堆栈，由下一个块处理。每个块的过程相同。但是每个模块在自我注意和神经网络子层都有自己的权重，最后你会得到一个输出标记概率的数组，你可以使用组合后的数组（或数组的一部分），以选择模型认为是输出的最佳记号组合。这些令牌被解码回正常的文本，你得到你的咆哮反对细胞疗法回来。
结果随请求中输入的发动机、温度和logit偏差而变化。
我建议阅读下面两个链接，以获得更多关于内部发生的事情的见解，这两个链接都是由才华横溢的杰伊·阿拉玛撰写的。
https://jalammar.github.io/how-gpt3-works-visualizations-animations/
https://jalammar.github.io/illustrated-gpt2/