你好，我想使用CTranslate2来加速BLIP2,它使用软提示生成文本的OPT模型。但是我认为CTranslate2缺乏对软提示的支持。它只接受start_tokens。
start_tokens
fslejnso1#
你好，更一般地说，CTranslate2不支持BLIP2架构。实际上，它不支持任何视觉模型(参见#979)。目前没有计划支持这些模型。
bnlyeluc2#
你好，感谢你的回复。关于添加对软提示的支持，即用户不仅可以传入一个token列表，还可以传入一个token嵌入列表，你怎么看？
- generate_batch(start_tokens: List[List[Union[str]], *, + generate_batch(start_tokens: List[List[Union[str, List[Float]]], *, ...)
我认为对于blip2来说，我不需要完整的C++实现，只需要这个功能来加速OPT在bilp2中的执行。谢谢。
2条答案
按热度按时间fslejnso1#
你好，
更一般地说，CTranslate2不支持BLIP2架构。实际上，它不支持任何视觉模型(参见#979)。目前没有计划支持这些模型。
bnlyeluc2#
你好，
感谢你的回复。
关于添加对软提示的支持，即用户不仅可以传入一个token列表，还可以传入一个token嵌入列表，你怎么看？
我认为对于blip2来说，我不需要完整的C++实现，只需要这个功能来加速OPT在bilp2中的执行。谢谢。