在DeepSpeed MII中实现一个stopping_criteria文本生成,以便在换行符或自定义标记处停止?
stopping_criteria
xzv2uavs1#
你好,PawanOsman!我在#280中添加了这个功能,但是在某些情况下观察到了意外的行为,所以我没有将其添加到我们的官方文档中。我计划调试我所看到的问题,并在本星期确定它能正确工作时更新文档。在此期间,你可以自己测试它,并报告出现的任何问题:client.generate(prompt, stop="\n") (输入可以是token_id或字符串)
client.generate(prompt, stop="\n")
token_id
nwo49xxi2#
非常感谢,是否可以提供一个令牌列表?或者只能提供一个令牌?
rqmkfv5c3#
目前我们仅支持单个令牌,但我可以扩展此功能以支持多个。
3条答案
按热度按时间xzv2uavs1#
你好,PawanOsman!我在#280中添加了这个功能,但是在某些情况下观察到了意外的行为,所以我没有将其添加到我们的官方文档中。我计划调试我所看到的问题,并在本星期确定它能正确工作时更新文档。
在此期间,你可以自己测试它,并报告出现的任何问题:
client.generate(prompt, stop="\n")
(输入可以是token_id
或字符串)nwo49xxi2#
非常感谢,是否可以提供一个令牌列表?或者只能提供一个令牌?
rqmkfv5c3#
目前我们仅支持单个令牌,但我可以扩展此功能以支持多个。