GPT-3 davinci在相同提示下给出不同结果

bqjvbblv  于 2023-03-03  发布在  其他
关注(0)|答案(2)|浏览(268)

我不确定你是否可以使用GPT-3,特别是DaVinci(整句工具)。你可以找到API和info here
过去一个小时我一直在尝试这个工具,每次我使用相同的提示符(实际上是相同的输入)点击他们的API,我都收到不同的响应。
1.你是否碰巧遇到过同样的情况?
1.如果这是意料之中的,你知道背后的原因吗?
以下是一些示例

    • 请求头***(我尝试使用他们提供的相同示例)*
{
  "prompt": "Once upon a time",
  "max_tokens": 3,
  "temperature": 1,
  "top_p": 1,
  "n": 1,
  "stream": false,
  "logprobs": null,
  "stop": "\n"
}
    • 输出1**
"choices": [
        {
            "text": ", this column",
            "index": 0,
            "logprobs": null,
            "finish_reason": "length"
        }
    ]
    • 产出2**
"choices": [
        {
            "text": ", winter break",
            "index": 0,
            "logprobs": null,
            "finish_reason": "length"
        }
    ]
    • 产出3**
"choices": [
        {
            "text": ", the traditional",
            "index": 0,
            "logprobs": null,
            "finish_reason": "length"
        }
    ]
ruyhziif

ruyhziif1#

我刚刚和OpenAI谈过,他们说他们的响应不是确定性的,是概率性的,这样才能有创意,为了让它确定或者降低概率性的风险,他们建议调整temperature参数,默认是1(即100%承担风险),如果我们想让它完全确定,就把它设置为0。
另一个参数是top_p(默认值为1),可以用来设置确定性状态,但是他们不建议同时调整temperaturetop_p,因为只有其中一个可以完成这项工作。

krugob8w

krugob8w2#

OpenAI文档:
https://beta.openai.com/docs/api-reference/completions/create
温度数字可选默认为1
要使用的采样温度。值越高表示模型的风险越大。对于更具创造性的应用,请尝试0.9,对于具有明确定义的答案的应用,请尝试0(argmax采样)。
我们通常建议更改this或top_p,但不要同时更改两者。
top_p number可选默认值为1
随温度采样的替代方案,称为核采样,其中模型考虑具有top_p概率质量的表征的结果。因此0.1意味着仅考虑包括前10%概率质量的表征。
我们通常建议更改此值或温度,但不要同时更改两者。

相关问题