llama_index [功能请求]:支持Azure无服务器端点 翻译结果:[功能请求]:支持Azure无服务器端点

jbose2ul  于 4个月前  发布在  其他
关注(0)|答案(6)|浏览(106)

功能描述

我刚刚部署了我的第一个Azure ML Studio Serverless端点,然后我意识到,在llama_index中没有匹配的LLM类型。我是不是漏掉了什么?还是说llama_index通常不支持Azure LLMs,而是Open AI资源?

原因

  • 无响应*

功能价值

如果这个功能确实缺失,那么需要实现这个功能,使得llama_index支持Azure上所有可用的LLMs。

eagi6jfj

eagi6jfj1#

目前仅支持Azure OpenAI。我不知道Azure Serverless的API是什么样子,但如果只是实现OpenAI的API,那么它已经支持了。

7z5jn7bk

7z5jn7bk2#

好的点,还没有弄清楚他们实际上正在实现哪些API,以及最终是否是模型依赖的。然而,让我们假设它是openai api,你会推荐哪个LLM Package 器?我觉得有很多可以用于那个。

j0pj023g

j0pj023g3#

如果它是兼容OpenAI的,你可以使用类似OpenAI的LLM类。

o75abkj4

o75abkj44#

目前我无法在AzureOpenAI或OpenAI Like上使其正常工作。如果我有时间研究它,我会提供更多关于端点实现的见解。
对于AzureOpenAI,它要求我拥有一个有效的openAI模型集。
对于OpenAI like,我得到:
信息:httpx:HTTP请求:POST URI_TO_MY_ENDPOINT/completions "HTTP/1.1 405方法不允许"

6bc51xsx

6bc51xsx5#

这是我找到的,目前我正在使用它与自己的代码。然而,我觉得它应该/可能可以使用OpenAILike类。有人能确认谁对OpenAILike类的实现了解更多吗?

roejwanj

roejwanj6#

我相信无法实现与无服务器Azure端点(Serverless Azure Endpoints)的接口。如果我们能在Azure无服务器端点中使用Phi3,那将非常棒。请将其转换为功能请求:)

相关问题