框架是否完美支持 Mistral 87B 模型？
在使用过程中遇到了内存不足的错误。
机器配置为：8 * A100 80G。
vwoqyblh1#
你好，@byerose,是的，我们确实支持Mixtral 8x7B模型。请问你能分享一下你正在使用的脚本吗？我已经能够在2xA6000上运行这个模型了。
1条答案
按热度按时间vwoqyblh1#
你好，@byerose,是的，我们确实支持Mixtral 8x7B模型。请问你能分享一下你正在使用的脚本吗？我已经能够在2xA6000上运行这个模型了。