Chinese-CLIP NameError: name 'FlashMHA' is not defined Killing subprocess 131988

sz81bmfz  于 2个月前  发布在  其他
关注(0)|答案(7)|浏览(111)

报错:NameError: name 'FlashMHA' is not defined
终止子进程 131988
尝试使用pip安装flash_attn时报错。

oxalkeyp

oxalkeyp1#

您好,请问您是pip install flash_attn失败了吗?需要成功pip install flash_atten后才能通过 --use-flash-attention 启用FlashAttention。另外,建议您注意下安装的flash-attn的版本,目前需要在2.0以下,如 pip install flash-attn==0.2.8

zzoitvuj

zzoitvuj2#

运行 setup.py clean 以清除 flash-attn
构建 flash-attn 失败
安装收集到的软件包:flash-attn
运行 setup.py install 以安装 flash-attn ... 错误

kx5bkwkv

kx5bkwkv4#

您好,请问可以提供下完整报错吗?

brvekthn

brvekthn5#

完整报错太长了,截图截不全

nbnkbykc

nbnkbykc6#

您好,请问您的命令是 pip install flash-attn==0.2.8 吗?建议您升级Pytorch版本到1.12及以上,另外可以参考一下flash-attn官方仓库的installation部分。

vlju58qv

vlju58qv7#

你好,

  1. 我成功地安装了高版本的flash-attn,发现我们预训练模型定义的clip参数名称与flash-attn新版的参数名称不太一致。
  2. 我看即使是低版本的flash-attn也有这个问题。

相关问题