vllm

vllm+ 关注

文章：0|问答：0|关注：0

暂无介绍

1回答
42浏览
vllm [特性]:多步骤的model_runner? vllm
其他 j2cgzkjk5个月前浏览 (42)5个月前
4回答
50浏览
vllm [Misc]:如何使用指导解码和正则表达式？ vllm
其他 wztqucjr5个月前浏览 (50)5个月前
9回答
58浏览
vllm [Bug]:在分析运行中，计算log_probs的VRAM使用量未被考虑, vllm
其他 dzhpxtsq5个月前浏览 (58)5个月前
2回答
38浏览
vllm [Bug]:使用pip install -e安装时出现构建/安装问题, vllm
其他 tcomlyy65个月前浏览 (38)5个月前
3回答
48浏览
vllm [RFC]: 仅使用 Triton 的 OpenAI 后端 vllm
其他 bogh5gae5个月前浏览 (48)5个月前
3回答
38浏览
安装：从vllm导入LLM时出错 vllm
其他 ws51t4hk5个月前浏览 (38)5个月前
3回答
38浏览
vllm [Bug]: DynamicNTKScalingRotaryEmbedding的实现可能存在错误, vllm
其他 e37o9pze5个月前浏览 (38)5个月前
2回答
45浏览
vllm [Bug]:在示例化LLM类后无法清理内存使用, vllm
其他 zmeyuzjn5个月前浏览 (45)5个月前
2回答
54浏览
vllm [Bug]:在负载下放置多LoRa适配器时出现异步引擎故障 vllm
其他 cbwuti445个月前浏览 (54)5个月前
1回答
38浏览
[Misc]: 加载 microsoft/Phi-3-medium-128k-instruct with vLLM vllm
其他 uelo1irk5个月前浏览 (38)5个月前
1回答
47浏览
vllm [Bug]:尾部问题 vllm
其他 shyt4zoc5个月前浏览 (47)5个月前
4回答
64浏览
vllm [新模型]:LLaVA-NeXT-视频支持 vllm
其他 cwdobuhd5个月前浏览 (64)5个月前
2回答
43浏览
vllm [Bug]: nsys无法跟踪除rank 0之外的进程调用的cuda内核, vllm
其他 chhqkbe15个月前浏览 (43)5个月前
2回答
39浏览
vllm [Bug]: torch.cuda.OutOfMemoryError: CUDA内存不足，无法处理推理请求 vllm
其他 gmxoilav5个月前浏览 (39)5个月前
4回答
95浏览
vllm [Bug] [spec decode] [flash_attn]: CUDA非法内存访问，当调用flash_attn_cuda.fwd_kvcache时 vllm
其他 jum4pzuy5个月前浏览 (95)5个月前
8回答
98浏览
vllm [Bug]: WSL2(也适用于Docker)可以处理1个GPU工作负载，但无法处理2个，(--tensor-parallel-size 2) vllm
Docker t8e9dugd5个月前浏览 (98)5个月前
7回答
58浏览
vllm [性能]:我们可以从OctoAI中学到什么？ vllm
其他 ghhaqwfi5个月前浏览 (58)5个月前
2回答
52浏览
[Bug]: 模型启动挂起，vLLM中有16+个等级 vllm
其他 b5buobof5个月前浏览 (52)5个月前
1回答
39浏览
[Usage]: Prefix caching in VLLM vllm
其他 cetgtptt5个月前浏览 (39)5个月前
4回答
59浏览
vllm [特性]:BERT模型用于嵌入翻译结果：[特性]:BERT模型用于嵌入 vllm
其他 0s7z1bwu5个月前浏览 (59)5个月前
2回答
125浏览
vllm [模型]:为MiniCPM-Llama3-V-2_5添加支持 vllm
其他 r8uurelv5个月前浏览 (125)5个月前
8回答
124浏览
vllm [RFC] PRs的CI工作流变更 vllm
其他 vojdkbi05个月前浏览 (124)5个月前
1回答
129浏览
vllm [Bug]: 推理时异常 vllm
其他 s71maibg5个月前浏览 (129)5个月前
1回答
174浏览
vllm [特性]:Phi-3视觉 - 允许多个图像，如微软展示的那样可以实现, vllm
其他 lstz6jyr5个月前浏览 (174)5个月前
2回答
73浏览
vllm [RFC]:无分类器指导 vllm
其他 093gszye5个月前浏览 (73)5个月前
1回答
49浏览
vllm [Bug]: 托管Alibaba-NLP/gte-Qwen2-7B-instruct时出现内部服务器错误 vllm
其他 vsmadaxz5个月前浏览 (49)5个月前
3回答
39浏览
vllm [Bug]: 加载一个具有巨大上下文长度的小模型时出现内存溢出错误 vllm
其他 xu3bshqb5个月前浏览 (39)5个月前
1回答
39浏览
vllm [Bug]: 当使用chunked-prefill托管TheBloke/Llama-2-7B-Chat-GPTQ时出现服务器错误 vllm
其他 y0u0uwnf5个月前浏览 (39)5个月前
2回答
39浏览
vllm [杂项]:CUDAGraph捕获的生成卡住了，使用了自定义的all_reduce和tensor_parallel=2, vllm
其他 s1ag04yj5个月前浏览 (39)5个月前
1回答
38浏览
[Bug]:使用logprobs和回声查询导致vllm(llama-3-8b-instruct)崩溃 vllm
其他 t98cgbkg5个月前浏览 (38)5个月前

热门标签

Java query python Node 开发语言 request Util 数据库 Table 后端算法 Logger Message Element Parser

最新问答

xxl-job 安全组扫描到执行器端口服务存在信息泄露漏洞
回答(1) 发布于 3个月前
xxl-job 不能和nacos兼容？
回答(3) 发布于 3个月前
xxl-job 任务执行完后无法结束，日志一直转圈
回答(3) 发布于 3个月前
xxl-job-admin页面上查看调度日志样式问题
回答(1) 发布于 3个月前
xxl-job 参数512字符限制能否去掉
回答(1) 发布于 3个月前