首页
问答库
知识库
教程库
标签
AI工具箱
登录
注册
投稿
vllm
+ 关注
文章:
0
|
问答:
0
|
关注:
0
暂无介绍
文章
|
问答
6
回答
12
浏览
vllm [Usage]: if I want to run a 34B model,like yi-34B-chat,how can I use multi GPU,I just have A100 40G
vllm
其他
f8rj6qna
11天前
浏览 (12)
11天前 
2
回答
11
浏览
vllm [特性]:无轮廓强烈依赖 翻译结果:[特性]:无轮廓的强烈依赖性
vllm
其他
nhn9ugyo
11天前
浏览 (11)
11天前 
4
回答
12
浏览
vllm [Misc]: 如何直接访问KV缓存?
vllm
其他
vh0rcniy
11天前
浏览 (12)
11天前 
3
回答
12
浏览
vllm [特性]:支持Internlm2 Lora加载
vllm
其他
oprakyz7
11天前
浏览 (12)
11天前 
3
回答
15
浏览
vllm 安装:导入llm时遇到错误
vllm
其他
ttcibm8c
11天前
浏览 (15)
11天前 
1
回答
9
浏览
[Bug]: vllm 如何加载 Yarn-Mistral-7B-128k(24G 4090,可能是 max-model-len*black-size 限制了 max-seq-len)
vllm
Yarn
4smxwvx5
11天前
浏览 (9)
11天前 
2
回答
14
浏览
vllm [Bug]: lora base_model.model.lm_head.base_layer.weight 不支持
vllm
其他
1zmg4dgp
11天前
浏览 (14)
11天前 
1
回答
15
浏览
vllm [用法]:运行时错误:CUDA错误:设备上没有可用于执行的内核映像,CUDA内核错误可能会在某些其他API调用中异步报告,因此下面的堆栈跟踪可能不正确,为了调试,请考虑传递CUDA_LAUNCH_BLOCKING=1,使用TORCH_USE_CUDA_DSA编译以启用设备端Assert,
vllm
其他
oaxa6hgo
11天前
浏览 (15)
11天前 
1
回答
61
浏览
vllm [Bug]:Intel GPU测试在CI中失败
vllm
其他
ndh0cuux
11天前
浏览 (61)
11天前 
4
回答
55
浏览
vllm [性能]:多节点管道并行双带宽,性能无变化
vllm
其他
vohkndzv
11天前
浏览 (55)
11天前 
2
回答
61
浏览
vllm [Feature]: 4D Attention Mask
vllm
其他
o0lyfsai
11天前
浏览 (61)
11天前 
1
回答
59
浏览
vllm [Bug]: OpenAI服务器意外关闭
vllm
其他
dluptydi
11天前
浏览 (59)
11天前 
4
回答
65
浏览
[Bug]: vLLM 在 AWS Inferentia (inf2) 上失败
vllm
其他
vkc1a9a2
11天前
浏览 (65)
11天前 
4
回答
14
浏览
vllm [用法]:max_num_seqs 和 max_model_len 分别表示什么?
vllm
其他
hsvhsicv
11天前
浏览 (14)
11天前 
2
回答
11
浏览
vllm [Bug]: 错误计数器只能按非负数递增,在指标模块中
vllm
其他
fnatzsnv
11天前
浏览 (11)
11天前 
2
回答
29
浏览
vllm 当我设置tensor_parallel_size=2时,发生了一个时间错误,
vllm
其他
jfgube3f
26天前
浏览 (29)
26天前 
8
回答
42
浏览
vllm 安装错误:pip install -e .
vllm
其他
0h4hbjxa
26天前
浏览 (42)
26天前 
1
回答
38
浏览
vllm 在规范解码测试中,测试之间的潜在状态泄漏,
vllm
其他
yyhrrdl8
26天前
浏览 (38)
26天前 
5
回答
41
浏览
vllm 从源代码安装失败,使用最新代码,
vllm
其他
jucafojl
26天前
浏览 (41)
26天前 
2
回答
36
浏览
vllm [Bug]:在MacOS上无法工作
vllm
Mac
m3eecexj
26天前
浏览 (36)
26天前 
1
回答
32
浏览
vllm [用法]:GPTQ量化行为
vllm
其他
wgxvkvu9
26天前
浏览 (32)
26天前 
3
回答
42
浏览
vllm [特性]:集成flash-infer FP8 KV缓存分块预填充(追加注意力)
vllm
其他
mtb9vblg
26天前
浏览 (42)
26天前 
1
回答
23
浏览
[Bug]: (VllmWorkerProcess pid=3253) 警告 08-13 11:31:37 shm_broadcast.py:386] 在60秒内未找到可用的块
vllm
其他
7fhtutme
26天前
浏览 (23)
26天前 
1
回答
32
浏览
vllm [杂项]:我想使用推测法运行Llama 3.1 405B,你能给我一个指南吗?
vllm
其他
7kqas0il
26天前
浏览 (32)
26天前 
1
回答
32
浏览
vllm [用法]:发布说明,最佳实践,主动中止
vllm
其他
qjp7pelc
26天前
浏览 (32)
26天前 
1
回答
35
浏览
vllm 使用方式:openai.API状态错误:错误代码:405 - {'细节':'方法不允许'}
vllm
其他
laawzig2
26天前
浏览 (35)
26天前 
2
回答
47
浏览
[Bug]: Gemma-2-2b-it load model hangs by vLLM==0.5.1 on Tesla T4 GPU
vllm
其他
djmepvbi
26天前
浏览 (47)
26天前 
5
回答
68
浏览
[Bug]: VLLM性能问题 - GPU利用率 - Mistral 7B
vllm
其他
tvokkenx
2个月前
浏览 (68)
2个月前 
7
回答
71
浏览
vllm [Bug]: Ray内存泄漏
vllm
其他
ars1skjm
2个月前
浏览 (71)
2个月前 
7
回答
60
浏览
vllm 在集群中在同一GPU上加载多个模型
vllm
其他
6bc51xsx
2个月前
浏览 (60)
2个月前 
首页
上一页
1
2
3
4
5
6
7
8
9
10
下一页
末页
热门标签
更多
Java
query
python
Node
开发语言
request
Util
数据库
Table
后端
算法
Logger
Message
Element
Parser
最新问答
更多
xxl-job 安全组扫描到执行器端口服务存在信息泄露漏洞
回答(1)
发布于
10天前
xxl-job 不能和nacos兼容?
回答(3)
发布于
10天前
xxl-job 任务执行完后无法结束,日志一直转圈
回答(3)
发布于
10天前
xxl-job-admin页面上查看调度日志样式问题
回答(1)
发布于
10天前
xxl-job 参数512字符限制能否去掉
回答(1)
发布于
10天前