mlc-llm [跟踪] 句子嵌入模型

z9gpfhce  于 5个月前  发布在  其他
关注(0)|答案(2)|浏览(87)

概述

这是一个将通用句子嵌入模型引入MLCEngine的全球跟踪问题。

行动项

  • 为基于mistral的句子嵌入添加支持

相关问题和PR链接

wko9yo5t

wko9yo5t2#

bge-m3是一个很好的候选者,因为它也支持稀疏嵌入模型。在端到端的流程中,我们发现将文本转换为嵌入的过程占用了大部分时间。(通过openai API将文本转换为嵌入需要100ms+,而向量搜索部分只需要10ms)。在本地拥有一个高效的嵌入模型将会很好。

相关问题