vllm

vllm+ 关注

文章：0|问答：0|关注：0

暂无介绍

9回答
47浏览
vllm [Bug]: Qwen/Qwen2-72B-Instruct 128k server down vllm
其他 vddsk6oq5个月前浏览 (47)5个月前
4回答
39浏览
vllm [Bug]:运行时错误：输出必须具有形状(total_q, num_heads, head_size_og) vllm
其他 xmjla07d5个月前浏览 (39)5个月前
1回答
44浏览
[用法]:为运行vLLM推荐的CPU设置 ```markdown [用法]:为运行vLLM推荐的CPU设置 ``` vllm
其他 lzfw57am5个月前浏览 (44)5个月前
4回答
40浏览
vllm [Bug]:非法内存访问 vllm
其他 9o685dep5个月前浏览 (40)5个月前
2回答
55浏览
安装：在我的Mac上，poetry添加vllm不起作用--xformers(0.0.26.post1)不支持PEP 517构建, vllm
Mac j0pj023g5个月前浏览 (55)5个月前
4回答
45浏览
vllm [用法]:spec_decode和repetition_penalty可以一起使用吗？ vllm
其他 j5fpnvbx5个月前浏览 (45)5个月前
1回答
39浏览
vllm [Bug]: 当温度为0时，不会导致贪婪采样, vllm
其他 lawou6xi5个月前浏览 (39)5个月前
3回答
40浏览
[Bug]: vllm.engine.async_llm_engine.AsyncEngineDeadError: 后台循环已经出错,RuntimeError: Triton错误[CUDA]:设备内核映像无效 vllm
其他 zfciruhq5个月前浏览 (40)5个月前
7回答
57浏览
vllm [Bug]: python3: /project/lib/Analysis/Allocation.cpp:43: std::pair< llvm::SmallVector< unsigned int>, llvm::SmallVector< unsigned int> > mlir::triton::getCvtOrder(mlir::Attribute, mlir::Attribute): Assert `!(srcMmaLayout && dstMmaLayout && !srcMmaLayout.isAmpere()) && "mma -> mma layout conversion is only supported on Ampere"'失败,中止(核心转储) vllm
Python f5emj3cl5个月前浏览 (57)5个月前
1回答
46浏览
[特性]:支持Ascend NPU的vllm vllm
其他 js81xvg65个月前浏览 (46)5个月前
1回答
51浏览
[Bug]: vllm-0.5.3.post1部署Qwen2-72b-instruct-awq模型，刚开始服务正常，但是并发高的时候就报错 vllm
其他 wwwo4jvm5个月前浏览 (51)5个月前
1回答
52浏览
vllm [Bug]:批处理推理不一致(即使温度为0) vllm
其他 2admgd595个月前浏览 (52)5个月前
2回答
48浏览
vllm [Bug]: FP8模型和FP8 KV-Cache-Scales一起加载在最新的0.5.3版本上失败, vllm
其他 mccptt675个月前浏览 (48)5个月前
1回答
38浏览
vllm [用法]:8xH100设备无法运行meta-llama/Meta-Llama-3.1-405B-Instruct-FP8, vllm
其他 juzqafwq5个月前浏览 (38)5个月前
9回答
98浏览
vllm 你能支持Attention Sink吗？ vllm
其他 ou6hu8tu5个月前浏览 (98)5个月前
1回答
101浏览
vllm 建议：添加模型注册以支持专有模型 vllm
其他 pvabu6sv5个月前浏览 (101)5个月前
4回答
51浏览
vllm [Bug] prompt_logprobs = 1 OOM问题 vllm
其他 55ooxyrt5个月前浏览 (51)5个月前
2回答
130浏览
vllm 关于一次可以处理多少个请求的指导？ vllm
其他 1sbrub3j5个月前浏览 (130)5个月前
6回答
129浏览
vllm [FEATURE] Implement Dynamic SplitFuse vllm
其他 zzzyeukh5个月前浏览 (129)5个月前
5回答
51浏览
vllm [新功能] 闪存解码++ vllm
其他 axzmvihb5个月前浏览 (51)5个月前
5回答
111浏览
vllm how to use chat function vllm
其他 ojsjcaue5个月前浏览 (111)5个月前
3回答
119浏览
vllm API服务器性能 vllm
其他 kmpatx3s5个月前浏览 (119)5个月前
3回答
114浏览
vllm 无法在多GPU上使用gpt2-xl vllm
其他 zvms9eto5个月前浏览 (114)5个月前
2回答
131浏览
vllm 当待处理请求大于0时，vlllm停止生成, vllm
其他 7bsow1i65个月前浏览 (131)5个月前
2回答
83浏览
为通过单个API网关托管多个VLLM模型添加工作注册服务 vllm
其他 s8vozzvw5个月前浏览 (83)5个月前
3回答
130浏览
vllm 任务因节点内存不足而被终止, vllm
其他 bt1cpqcv5个月前浏览 (130)5个月前
3回答
97浏览
vllm Proposal: force type hint check with mypy vllm
其他 tf7tbtn25个月前浏览 (97)5个月前
2回答
103浏览
vllm 功能请求：提示查找解码 ```markdown 功能请求：提示查找解码 ``` vllm
其他 0lvr5msh5个月前浏览 (103)5个月前
3回答
116浏览
vllm Profile and optimize list operations in scheduling vllm
其他 hxzsmxv25个月前浏览 (116)5个月前
3回答
133浏览
vllm [用法]:加载训练好的模型时遇到问题, vllm
其他 vfhzx4xs5个月前浏览 (133)5个月前

热门标签

Java query python Node 开发语言 request Util 数据库 Table 后端算法 Logger Message Element Parser

最新问答

xxl-job 安全组扫描到执行器端口服务存在信息泄露漏洞
回答(1) 发布于 3个月前
xxl-job 不能和nacos兼容？
回答(3) 发布于 3个月前
xxl-job 任务执行完后无法结束，日志一直转圈
回答(3) 发布于 3个月前
xxl-job-admin页面上查看调度日志样式问题
回答(1) 发布于 3个月前
xxl-job 参数512字符限制能否去掉
回答(1) 发布于 3个月前