vllm 为ReFT添加支持

lh80um4z  于 5个月前  发布在  其他
关注(0)|答案(2)|浏览(69)

🚀 功能、动机和宣传

动机是在推理过程中实时应用ReFT表示,这可以批量完成。这比应用LoRA快得多。

替代方案

LoRA太慢了,因为它需要添加适配器权重,这会增加操作次数。

其他上下文

请参阅 stanfordnlp/pyreft#63

5kgi1eie

5kgi1eie1#

作为Pyreft的用户,我想强调选择子空间到一个假设的PyreftRequest的需求(参见stanfordnlp/pyreft#63(评论))。

whlutmcx

whlutmcx2#

这个有什么进展吗?

相关问题