text-generation-inference stop参数在/v1/completions端点上完全不起作用,

vh0rcniy  于 6个月前  发布在  其他
关注(0)|答案(2)|浏览(108)

系统信息

官方的Docker镜像,版本2.0.4

信息

  • Docker
  • CLI直接使用

任务

  • 一个官方支持的命令
  • 我自己的修改

重现

尝试在 /v1/completions 端点上使用 stop 参数。请注意,此错误报告与此问题无关:

此错误报告是关于 stop 参数对于 /v1/completions 端点完全不起作用的问题。

预期行为

它应该可以工作 - 目前它根本无法工作。理想情况下,它应该像OpenAI的行为一样(即没有令牌边界限制 - 参见上面链接的问题),但如果不可能,那么就像 /generate 一样。

c7rzv4ha

c7rzv4ha1#

这个问题已经过期,因为它已经打开了30天,没有活动。请移除过期标签或评论,否则将在5天内关闭。

相关问题