DeepSpeed-MII 推理结果与hf不一致,

5uzkadbs 于 4个月前发布在其他

关注(0)|答案(1)|浏览(61)

我使用mii和hf模型在两张A800显卡上对mixtral8x7b进行了推理测试。生成(),但推理结果不一致，mii的推理结果不如hf的好。

来源：https://github.com/microsoft/DeepSpeed-MII/issues/402

1条答案

按热度按时间

请分享提示和生成的文本。由于我们自定义的CUDA内核，我们无法确保与基线模型的输出完全匹配，但输出的质量应该是相同的。

赞(0）回复(0）举报 4个月前

相关问题

热门标签

Java query python Node 开发语言 request Util 数据库 Table 后端算法 Logger Message Element Parser

最新问答

xxl-job 安全组扫描到执行器端口服务存在信息泄露漏洞
回答(1) 发布于 3个月前
xxl-job 不能和nacos兼容？
回答(3) 发布于 3个月前
xxl-job 任务执行完后无法结束，日志一直转圈
回答(3) 发布于 3个月前
xxl-job-admin页面上查看调度日志样式问题
回答(1) 发布于 3个月前
xxl-job 参数512字符限制能否去掉
回答(1) 发布于 3个月前