Langchain-Chatchat [BUG] 0.3.1支持高并发吗？

ghg1uchk 于 5个月前发布在其他

关注(0)|答案(7)|浏览(62)

两人同时访问webui进行提问时出现报错。

0.3.1源码部署成功后，两人同时访问web进行提问，出现以下报错：

ERROR: Exception in ASGI application
Traceback (most recent call last):
  File "/home/test/.conda/envs/langchain31/lib/python3.11/site-packages/sse_starlette/sse.py", line 269, in call
  await wrap(partial(self.listen_for_disconnect, receive))
  File "/home/test/.conda/envs/langchain31/lib/python3.11/site-packages/sse_starlette/sse.py", line 258, in wrap
  await func()
  File "/home/test/.conda/envs/langchain31/lib/python3.11/site-packages/sse_starlette/sse.py", line 215, in listen_for_disconnect
  message = await receive()
  File "/home/test/.conda/envs/langchain31/lib/python3.11/site-packages/uvicorn/protocols/http/h11_impl.py", line 524, in await receive
  await self.message_event.wait()
  File "/home/test/.conda/envs/langchain31/lib/python3.11/asyncio/locks.py", line 213, in wait
  await fut
  File "/home/test/.conda/envs/langchain31/lib/python3.11/asyncio/locks.py", line 207, in __await__
  return await self.__await__()
File "/home/test/.conda/envs/langchain31/lib/python3.11/site-packages/uvicorn/middleware/proxy_headers.py", line 70, in call
  return await self.app(scope, receive, send)
File "/home/test/.conda/envs/langchain31/lib/python3.11/site-packages/fastapi/applications.py", line 1054, in call
  await super().call(scope, receive, send)
File "/home/test/.conda/envs/langchain31/lib/python3.11/site-packages/starlette/applications.py", line 123, in call
  await self.middleware_stack(scope, receive, send)
File "/home/test/.conda/envs/langchain31/lib/python3.11/site-packages/starlette/middleware/errors.py", line 186, in call
  raise exc
File "/home/test/.conda/envs/langchain31/lib/python3.11/site-packages/starlette/middleware/errors.py", line 164, in call
  await self.app(scope, receive, _send)
File "/home/test/.conda/envs/langchain31/lib/python3.11

从错误信息来看，这是一个与HTTP请求相关的错误。具体来说，这是一个httpx.RemoteProtocolError,表示在进行流式传输时，对等方(服务器)在没有发送完整消息体的情况下关闭了连接。这可能是由于网络问题或服务器端的问题导致的。

要解决这个问题，你可以尝试以下方法：

检查你的网络连接是否稳定。如果可能的话，尝试更换网络环境。
确保你使用的API是正确的，并且已经获得了正确的访问权限。
如果问题仍然存在，可以尝试联系API的提供者，询问他们是否有关于这个问题的信息。

Langchain-Chatchat

来源：https://github.com/chatchat-space/Langchain-Chatchat/issues/4594

7条答案

按热度按时间

qfe3c7zg1#

你模型加载用的什么框架？我这里用 xinference 加载 qwen2，分别测试了用 Thread Pool 10 并发访问 /chat/chat/completions 接口，开两个 WEBUI 同时提问，均无错误，除了响应速度变慢了。以下是10个并发的响应时间：

34.494786500930786
34.64978742599487
34.807469844818115
34.80803728103638
34.926839113235474
103.88633465766907
109.220374584198
109.98843359947205
112.575124502182
113.9420325756073

赞(0）回复(0）举报 5个月前

njthzxwz2#

在改了

赞(0）回复(0）举报 5个月前

flvtvl503#

使用的模型：glm4-chat
使用的 Embedding 模型：bge-large-zh-v1.5
硬件：rtx3090 24g显存，2t硬盘，我估计是我硬件不行。

赞(0）回复(0）举报 5个月前

0qx6xfy64#

对话可以是多人的，我以为又是向量化。

赞(0）回复(0）举报 5个月前

ffx8fchx5#

对话可以支持多人参与，我原以为又是向量化的问题。