AutoGPTQ [特性]为 https://huggingface.co/BlinkDL/rwkv-4-raven 添加支持,

63lcw9qa  于 4个月前  发布在  其他
关注(0)|答案(1)|浏览(58)

您的功能请求是否与问题相关?请描述。

RWKV 不是一个变压器模型,而是 RNN,我不确定 GPTQ 是否适用?

描述您希望的解决方案

如果适用,那么我们可以将这个惊人的压缩算法应用于 RWKV 和更远的地方,不仅仅是变压器,甚至可能是 CNN?

xzv2uavs

xzv2uavs1#

RWKV实际上已经合并到HF Tr:huggingface/transformers#22797,因此它是变压器兼容模型。

相关问题