你好。
感谢这个很酷的服务器。我正在开发一个与多个服务/模型兼容的开源AI工具，其中之一就是ollama。不过我需要在多个客户端设置中使用它。
为了实现这一点，我运行多个服务器(例如ollama服务),并希望使用队列状态来决定将请求路由到哪个服务器。
有没有办法获取一个端点来显示处理多个连接时的队列中的请求数量？
我需要在多个服务器之间共享负载。我的客户端需要询问每个服务器队列的状态，以便知道哪个服务器可以处理负载。
例如，如果我有三个服务器，第一个服务器队列中有2个请求，第二个服务器队列中有1个请求，最后一个服务器队列中有0个请求，那么我会选择第三个服务器。这样的想法是让客户端寻找队列中请求较少的服务器，从而允许我同时为多个lollms客户端提供服务。
这可能会非常有用。
另外，如果你能将lollms添加到可以使用ollama服务器的前端列表中，那就太棒了：
LoLLMS .
谢谢！