您的功能请求是否与问题相关？请描述。
RWKV 不是一个变压器模型，而是 RNN,我不确定 GPTQ 是否适用？
描述您希望的解决方案
如果适用，那么我们可以将这个惊人的压缩算法应用于 RWKV 和更远的地方，不仅仅是变压器，甚至可能是 CNN?
xzv2uavs1#
RWKV实际上已经合并到HF Tr:huggingface/transformers#22797,因此它是变压器兼容模型。
1条答案
按热度按时间xzv2uavs1#
RWKV实际上已经合并到HF Tr:huggingface/transformers#22797,因此它是变压器兼容模型。