在发布新版本，如v0.5.3、v0.5.4时，您是否有发布说明？这些说明会指出更高版本中的优化/修复bug/新增支持的功能。另外，您能否提供一些示例/最佳实践来指导用户部署具有更高性能的模型？
c90pui9n1#
我有一个请求，我注意到在vllm v0.5.4中有一个超时中止功能，但是vllm是否可以在不需要用户退出请求的情况下主动中止请求？
1条答案
按热度按时间c90pui9n1#
我有一个请求，我注意到在vllm v0.5.4中有一个超时中止功能，但是vllm是否可以在不需要用户退出请求的情况下主动中止请求？