在使用DeepSpeed MII时,有一些参数在查询模型时不起作用,而在使用model.generate或使用huggingface pipelines时起作用。我也曾尝试单独使用DeepSpeed inference这些参数,发现它们也能正常工作。
对我来说有问题的参数是num_beams
和bad_words_ids
,但可能还有其他参数。我发现do_sample
、max_length
、min_length
、top_k
、top_p
、temperature
、repetition_penalty
和early_stopping
不会引起问题,但也可能有其他参数会。
3条答案
按热度按时间ryhaxcpt1#
在这一点上,我们支持通过查询传递的具有
int
、float
、bool
或str
类型的kwargs(参见DeepSpeed-MII/mii/grpc_related/proto/modelresponse.proto
Line 34 in 4040dae
| messageValue { |
)
这意味着
num_beams
应该可以工作,但我们不支持bad_words_ids
作为类型是Iterable[int]
。您能否与
num_beams
分享您看到的错误?谢谢
tktrz96b2#
我相信num_beams是我自己的错误。
有计划支持列表吗?如果添加了列表,我认为所有参数都将得到支持。
ulmd4ohb3#
num_beams
对我不起作用。我得到了错误: