vllm

vllm+ 关注

文章：0|问答：0|关注：0

暂无介绍

1回答
74浏览
vllm [Usage]: slow inference for fine-tuned model vllm
其他 ssm49v7z4个月前浏览 (74)4个月前
2回答
100浏览
vllm [Bug]: KeyError: 'model.layers.45.block_sparse_moe.gate.g_idx' vllm
其他 mfuanj7w4个月前浏览 (100)4个月前
7回答
84浏览
vllm [Bug]:在对话结束后重复打印< | im_end |>< | im_start |>vllm
其他 fcwjkofz4个月前浏览 (84)4个月前
6回答
122浏览
[Bug]:引擎迭代超时,这在vllm 0.4.1部署llama3时不应该发生, vllm
其他 qybjjes14个月前浏览 (122)4个月前
6回答
77浏览
vllm [用法]: ValueError: 无法找到 awq 的配置文件 vllm
其他 ffx8fchx4个月前浏览 (77)4个月前
7回答
77浏览
vllm [特性]:批处理并行解码 vllm
其他 pgpifvop4个月前浏览 (77)4个月前
1回答
105浏览
vllm [Bug]: KeyError: 'dbrx' vllm
其他 h6my8fg24个月前浏览 (105)4个月前
3回答
75浏览
vllm [Bug]: ValueError:当前GPU不支持量化方法fp8,最低能力要求：90,当前能力：86 vllm
其他 4jb9z9bj4个月前浏览 (75)4个月前
3回答
85浏览
vllm [新模型]:Qwen1.5-MoE-A2.7B-Chat-GPTQ-Int4启动错误 vllm
其他 ohfgkhjo4个月前浏览 (85)4个月前
1回答
82浏览
[杂项]:运行时错误：找不到任何模型权重 [vllm=0.4.0] vllm
其他 y53ybaqx4个月前浏览 (82)4个月前
3回答
82浏览
vllm [Bug]: mistralai/Mixtral-8x22B-Instruct-v0.1 在 aae08249acca69060d0a8220cab920e00520932c 上加载失败了2/3次, vllm
其他 ctrmrzij4个月前浏览 (82)4个月前
1回答
70浏览
vllm [用法]:为什么llama2的max_model_len不能大于max_position_embeddings? vllm
其他 jobtbby34个月前浏览 (70)4个月前
6回答
128浏览
vllm [特性]:Assert错误：尚不支持RayGPU后端的推测解码, vllm
其他 yi0zb3m44个月前浏览 (128)4个月前
3回答
78浏览
vllm [Bug]: 当使用 --kv-cache-dtype fp8 时，分块预填充似乎不起作用, vllm
其他 5jvtdoz24个月前浏览 (78)4个月前
7回答
98浏览
vllm [Bug]: XFormersMetadata中的TypeError vllm
其他 vwkv1x7d4个月前浏览 (98)4个月前
2回答
63浏览
vllm [Bug]:WSL2 nccl问题与2个GPU有关？ vllm
其他 h9vpoimq4个月前浏览 (63)4个月前
2回答
68浏览
vllm 为ReFT添加支持 vllm
其他 lh80um4z4个月前浏览 (68)4个月前
1回答
95浏览
vllm [杂项]:奇数GPU利用率？ vllm
其他 4ktjp1zp4个月前浏览 (95)4个月前
6回答
111浏览
vllm [用法]:在2个L40 GPU(48G)上运行33b模型float16时内存不足, vllm
其他 62o28rlo4个月前浏览 (111)4个月前
6回答
88浏览
vllm [用法]:如何禁用多LoRa以避免使用Punica?还是Punica是唯一的选择？ vllm
其他 iyfamqjs4个月前浏览 (88)4个月前
2回答
98浏览
vllm [特性]:返回隐藏状态的选项 vllm
其他 piok6c0g4个月前浏览 (98)4个月前
2回答
135浏览
vllm [Bug]:1-card部署和2-card部署产生不一致的输出logits, vllm
Git uemypmqf4个月前浏览 (135)4个月前
1回答
129浏览
如何使用Docker Compose启动vllm和llava? vllm
Docker wtzytmuj4个月前浏览 (129)4个月前
1回答
88浏览
vllm [用法] [错误]:在mistralai/Mixtral-8x7B-Instruct-v0.1上运行Tensor并行推理(当前无法工作) vllm
其他 hxzsmxv24个月前浏览 (88)4个月前
9回答
87浏览
[用法]:如何设置vllm以在k8s/openshift集群中工作 vllm
其他 o4hqfura4个月前浏览 (87)4个月前
4回答
84浏览
vllm [用法]:我是否需要为Qwen模型指定聊天模板？ vllm
其他 qmb5sa224个月前浏览 (84)4个月前
1回答
109浏览
vllm [功能]:使用load/unload API在单个GPU示例中运行多个LLMs, vllm
其他 f5emj3cl4个月前浏览 (109)4个月前
1回答
40浏览
vllm [特性]:vTensor:用于高效LLM服务的灵活虚拟Tensor管理 vllm
其他 esyap4oy4个月前浏览 (40)4个月前
1回答
40浏览
[Bug]:使用Triton服务器支持的vllm无法正常工作, vllm
其他 bn31dyow4个月前浏览 (40)4个月前
4回答
48浏览
vllm [Bug]:多GPU推理(tensor_parallel_size=2)在Intel GPU上失败 vllm
其他 brvekthn4个月前浏览 (48)4个月前

热门标签

Java query python Node 开发语言 request Util 数据库 Table 后端算法 Logger Message Element Parser

最新问答

xxl-job 安全组扫描到执行器端口服务存在信息泄露漏洞
回答(1) 发布于 3个月前
xxl-job 不能和nacos兼容？
回答(3) 发布于 3个月前
xxl-job 任务执行完后无法结束，日志一直转圈
回答(3) 发布于 3个月前
xxl-job-admin页面上查看调度日志样式问题
回答(1) 发布于 3个月前
xxl-job 参数512字符限制能否去掉
回答(1) 发布于 3个月前