请帮我检查一下，我怀疑这是一个超时问题。谢谢

它每次都发生吗？你有没有一个请求可以稳定地触发错误？

我遇到了同样的问题。在运行了几个小时后，qwen2-72b和qwen1.5-110b都产生了asyncio.exceptions.CancelledError。

完全相同的问题，我从6月14日开始就遇到了。也许是因为信号量的问题？

今天早上又发生了这种情况。似乎生成吞吐量变得越来越慢，最后无法响应(上下文长度没有增长，每个请求都是一个新的聊天)。我想在请求完成后有一些资源没有被释放。

当我们基于Qwen2-72B-Instruct-128K使用4个L40 GPU进行推理时，遇到了相同的问题。我们通过设置以下两个参数解决了这个问题：

llm = LLM(
    ...,
    enable_chunked_prefill=True,
    max_num_batched_tokens=8192
)

您可以根据您的GPU资源适当调整max_num_batched_tokens。

@junior-zsy 我们在使用基于Qwen2-72B-Instruct-128K的4 L40 GPU进行推理时遇到了相同的问题。我们通过设置以下两个参数解决了这个问题：

llm = LLM(
    ...,
    enable_chunked_prefill=True,
    max_num_batched_tokens=8192
)

您可以根据您的GPU资源适当调整 max_num_batched_tokens 。
谢谢，但上述方法对我来说没有用，我已经找到了真正的原因。

@youkaichao I have discovered the ultimate cause of this problem，The problem lies in run_engine_loop function

has_requests_in_progress = False
        while True:
            if not has_requests_in_progress:
                logger.debug("Waiting for new requests...")
                await self._request_tracker.wait_for_new_requests()
                logger.debug("Got new requests!")

            # Abort if iteration takes too long due to unrecoverable errors
            # (eg. NCCL timeouts).
            try:
                async with asyncio_timeout(ENGINE_ITERATION_TIMEOUT_S):
                    has_requests_in_progress = await self.engine_step()
            except asyncio.TimeoutError as exc:
                logger.error(
                    "Engine iteration timed out. This should never happen!")
                self.set_errored(exc)
                raise # If a timeout is triggered, the entire server crashes because there is no try exception caught on this exception
            await asyncio.sleep(0)

def start_background_loop(self) -> None:
        """Start the background loop."""
        if self.errored:
            raise AsyncEngineDeadError(
                "Background loop has errored already.") from self._errored_with
        if self.is_running:
            raise RuntimeError("Background loop is already running.")
        # Initialize the RequestTracker here so it uses the right event loop.
        self._request_tracker = RequestTracker()
       # Failure to capture exceptions resulted in program crash
        self._background_loop_unshielded = asyncio.get_event_loop(
        ).create_task(self.run_engine_loop())
        self._background_loop_unshielded.add_done_callback(
            partial(_log_task_completion, error_callback=self._error_callback))
        self.background_loop = asyncio.shield(self._background_loop_unshielded)

When a request triggers a timeout, a single exception can cause the entire service to crash. The raise passes an exception to the upper layer, but the upper layer's code does not try exception to catch the exception. In the end, the entire service crashes,I can solve the above problem by setting VLLM-ENGINE-ITERATION-TIMEOUT, but I don't understand why vllm code needs to be written like this, raise, but the upper layer did not capture it. Thank you

我发现了这个问题的根本原因，问题出在run_engine_loop函数中。当一个请求触发超时时，单个异常可能导致整个服务崩溃。raise将异常传递给上层，但上层的代码没有尝试捕获这个异常。最后，整个服务崩溃了。

我可以通过设置VLLM-ENGINE-ITERATION-TIMEOUT来解决这个问题，但我不明白为什么vllm代码需要这样写，raise,而上层却没有捕获它。谢谢。

我已经尝试设置VLLM-ENGINE-ITERATION-TIMEOUT=600,在start_background_loop中使用"try-catch",并在run_engine_loop中中止这个无效的请求，但它们都没有效果。你还有其他关于如何处理这个错误的想法吗？