vllm

vllm+ 关注

文章：0|问答：0|关注：0

暂无介绍

6回答
54浏览
vllm Better defaults to match Hugging Face vllm
其他 ee7vknir4个月前浏览 (54)4个月前
1回答
39浏览
vllm 解：由题意可知，$t=20$,$T=60$, $\therefore \dfrac{T}{4}=15$, 故答案为15, vllm
其他 8i9zcol24个月前浏览 (39)4个月前
3回答
45浏览
错误：无法为vllm构建轮子，这是安装基于pyproject.toml的项目所必需的, vllm
其他 n53p2ov04个月前浏览 (45)4个月前
4回答
38浏览
如何增加vllm调度程序提示限制？ vllm
其他 zd287kbt4个月前浏览 (38)4个月前
2回答
38浏览
当使用tp=2在贪婪模式下推理模型，并使用vllm 0.3时，结果是随机的, vllm
其他 kg7wmglp4个月前浏览 (38)4个月前
7回答
43浏览
当增加并发请求数量时，vLLM忽略了我的请求, vllm
其他 ux6nzvsh4个月前浏览 (43)4个月前
4回答
41浏览
vllm 加载internlm2-chat-20b时出现ValueError:查询/键/值应具有BMHK或BMK形状, vllm
其他 pu82cl6c4个月前浏览 (41)4个月前
1回答
42浏览
Llama Guard在HuggingFace的Transformers和vLLM之间的输出不一致, vllm
其他 flmtquvp4个月前浏览 (42)4个月前
7回答
54浏览
在Qwen1.5-7B-Chat-AWQ和vllm v0.3.0中，使用尾随换行符" ", vllm
其他 stszievb4个月前浏览 (54)4个月前
1回答
44浏览
vllm [Bug]:加载squeezellm模型 vllm
其他 hpxqektj4个月前浏览 (44)4个月前
2回答
38浏览
vllm 如何将llama3-70b部署在具有8个3090 GPU的服务器上，并使用lora和CUDA图形？ vllm
其他 yhuiod9q4个月前浏览 (38)4个月前
1回答
82浏览
vllm 请问什么时候支持qwen moe量化版本，最好是使用自动gptq或awq, vllm
其他 f5emj3cl4个月前浏览 (82)4个月前
6回答
40浏览
vllm [特性]:可覆盖HuggingFace的配置选项 vllm
其他 jfewjypa4个月前浏览 (40)4个月前
2回答
38浏览
vllm [特性]:支持Mirostat、动态温度和二次采样 vllm
其他 cwtwac6a4个月前浏览 (38)4个月前
1回答
40浏览
vllm [Bug]: 待处理，但平均生成吞吐量为：0.0个令牌/秒 vllm
其他 nwwlzxa74个月前浏览 (40)4个月前
3回答
40浏览
无法停止vllm推理THUDM/chatglm3-6b-128k, vllm
其他 ee7vknir4个月前浏览 (40)4个月前
5回答
48浏览
vllm [Bug]: 高gpu_memory_utilization(OOM)和低gpu_memory_utilization(无可用缓存块内存) vllm
其他 vlf7wbxs4个月前浏览 (48)4个月前
2回答
39浏览
vllm [Bug]: 使用max-num-seqs < = 2 * num-speculative-tokens进行推测性解码 vllm
其他 x7rlezfr4个月前浏览 (39)4个月前
1回答
40浏览
vllm [Bug]: 运行时错误：CUDA错误：遇到非法内存访问 vllm
其他 ufj5ltwl4个月前浏览 (40)4个月前
4回答
41浏览
vllm [Bug]: Gloo 库无法在两台计算机之间进行通信 vllm
其他 ego6inou4个月前浏览 (41)4个月前
6回答
55浏览
vllm [特性]:FlashAttention 3支持 vllm
其他 zpqajqem4个月前浏览 (55)4个月前
4回答
53浏览
[Bug]: vllm.engine.async_llm_engine.AsyncEngineDeadError: 后台循环已经出错, vllm
其他 l3zydbqr4个月前浏览 (53)4个月前
3回答
45浏览
[RFC]: 使用torch.compile的vLLM中的图形优化系统 vllm
其他 r7s23pms4个月前浏览 (45)4个月前
6回答
79浏览
vllm [Bug]: 运行时Assert错误：32768不能被3整除，multiproc_worker_utils.py:120,在使用3个GPU进行Tensor并行时 vllm
其他 jdgnovmf4个月前浏览 (79)4个月前
1回答
40浏览
vllm [Bug]:加载 Gemma 2 27b-it 时出现问题 vllm
其他 lqfhib0f4个月前浏览 (40)4个月前
3回答
52浏览
vllm [Bug]: dag teardown错误AttributeError: 'Worker'对象没有属性'core_worker' vllm
其他 bqjvbblv4个月前浏览 (52)4个月前
3回答
82浏览
vllm OOM with meta-llama/Llama-2-70b-chat-hf vllm
其他 b1uwtaje4个月前浏览 (82)4个月前
4回答
101浏览
vllm 问题：分页注意力是否展示了前缀共享？ vllm
其他 t98cgbkg4个月前浏览 (101)4个月前
4回答
111浏览
vllm 计算提示的困惑度/logits vllm
Git rxztt3cl4个月前浏览 (111)4个月前
5回答
61浏览
vllm 加载合并后的Mistral 8x7b模型失败 vllm
其他 mfpqipee4个月前浏览 (61)4个月前

热门标签

Java query python Node 开发语言 request Util 数据库 Table 后端算法 Logger Message Element Parser

最新问答

xxl-job 安全组扫描到执行器端口服务存在信息泄露漏洞
回答(1) 发布于 3个月前
xxl-job 不能和nacos兼容？
回答(3) 发布于 3个月前
xxl-job 任务执行完后无法结束，日志一直转圈
回答(3) 发布于 3个月前
xxl-job-admin页面上查看调度日志样式问题
回答(1) 发布于 3个月前
xxl-job 参数512字符限制能否去掉
回答(1) 发布于 3个月前