llama_index [Feature Request]: Add support for LiteLLM

14ifxucb  于 5个月前  发布在  其他
关注(0)|答案(2)|浏览(43)

功能描述

大家好,
我们目前正在进行一个 open-source 项目,该项目使用 llama-index 将一些数据导入并嵌入到 ChromaDB 中。
最初,我们与 OpenAI 捆绑在一起,并仅在我们的摄取管道中使用 OpenAIEmbedding 类。然而,我们被要求为其他 LLM 提供商和示例添加支持,这使我们使用了 LiteLLM Proxy Server
我们在内部编写了一个新的类,该类继承自 BaseEmbedding 并与代理服务器通信,我们认为这可以是 llama-index 的一个不错贡献,这样更多的用户就可以与他们的 LiteLLM 代理服务器进行通信。
您可以看到我们的实现 here 。我们将新类称为 LiteLLMEmbedding

原因

允许 llama-index 将 LiteLLM 作为其他供应商的嵌入代理。

功能价值

更多的用户可以将嵌入供应商抽象化,并创建一个无关联的代码。

ecr0jaav

ecr0jaav1#

你可以为这个新类提出一个PR吗?

kd3sttzy

kd3sttzy2#

@logan-markewich 创建了一个PR here。让我知道你的想法。我在本地使用自己的LiteLLM代理服务器测试了它,并添加了一些单元测试。

相关问题