您的功能请求是否与问题相关?请描述。
RWKV 不是一个变压器模型,而是 RNN,我不确定 GPTQ 是否适用?
描述您希望的解决方案
如果适用,那么我们可以将这个惊人的压缩算法应用于 RWKV 和更远的地方,不仅仅是变压器,甚至可能是 CNN?
xzv2uavs1#
RWKV实际上已经合并到HF Tr:huggingface/transformers#22797,因此它是变压器兼容模型。
1条答案
按热度按时间xzv2uavs1#
RWKV实际上已经合并到HF Tr:huggingface/transformers#22797,因此它是变压器兼容模型。