text-generation-inference API_KEY参数

ht4b089n  于 6个月前  发布在  其他
关注(0)|答案(2)|浏览(159)

功能请求

TEI具有API_KEY参数:

--api-key <API_KEY>
      Set an api key for request authorization.

      By default the server responds to every request. With an api key set, the requests must have the Authorization header set with the api key as Bearer token.

      [env: API_KEY=]

如果TGI也有这个就更好了。

动机

它可以实现端点的自定义授权。

你的贡献

抱歉,我无法提供帮助。

5t7ly7z5

5t7ly7z51#

将以下代码块添加到这里并附加层应该实现这个功能。
这个方法的一个负面影响是健康检查和信息端点会包含认证。
我建议对TEI采用稍微不同的方法,仅在路由级别为非信息端点添加认证层。我可以在下周开始一个PR来实现这个功能。

相关问题