功能描述
大家好,
我们目前正在进行一个 open-source 项目,该项目使用 llama-index 将一些数据导入并嵌入到 ChromaDB 中。
最初,我们与 OpenAI 捆绑在一起,并仅在我们的摄取管道中使用 OpenAIEmbedding
类。然而,我们被要求为其他 LLM 提供商和示例添加支持,这使我们使用了 LiteLLM Proxy Server 。
我们在内部编写了一个新的类,该类继承自 BaseEmbedding
并与代理服务器通信,我们认为这可以是 llama-index 的一个不错贡献,这样更多的用户就可以与他们的 LiteLLM 代理服务器进行通信。
您可以看到我们的实现 here 。我们将新类称为 LiteLLMEmbedding
原因
允许 llama-index 将 LiteLLM 作为其他供应商的嵌入代理。
功能价值
更多的用户可以将嵌入供应商抽象化,并创建一个无关联的代码。
2条答案
按热度按时间ecr0jaav1#
你可以为这个新类提出一个PR吗?
kd3sttzy2#
@logan-markewich 创建了一个PR here。让我知道你的想法。我在本地使用自己的LiteLLM代理服务器测试了它,并添加了一些单元测试。