vllm

vllm+ 关注

文章：0|问答：0|关注：0

暂无介绍

2回答
148浏览
vllm 发送新请求时是否有优先级机制？ vllm
其他 fdbelqdn5个月前浏览 (148)5个月前
8回答
56浏览
vllm 无法从源代码构建ROCm(在使用PyTorch和Xformers时工作正常) vllm
其他 nwsw7zdq5个月前浏览 (56)5个月前
4回答
69浏览
vllm 当在Apptainer(HPC)上运行时，OpenAI服务器出现问题, vllm
其他 vcirk6k65个月前浏览 (69)5个月前
2回答
55浏览
vllm 从S3位置加载模型而不是本地路径 vllm
其他 qacovj5a5个月前浏览 (55)5个月前
8回答
54浏览
vllm 随着并发增长，达到第一个令牌的临界慢度 - 在公平性和吞吐量之间取得平衡？ vllm
其他 vx6bjr1n5个月前浏览 (54)5个月前
2回答
129浏览
vllm 模型不支持： internlm/internlm-xcomposer2-7b vllm
其他 ep6jt1vc5个月前浏览 (129)5个月前
2回答
51浏览
安装vllm问题： vllm
其他 44u64gxh5个月前浏览 (51)5个月前
5回答
50浏览
vllm ConnectionResetError: [Errno 104] Connection reset by peer vllm
其他 hvvq6cgz5个月前浏览 (50)5个月前
5回答
49浏览
在运行任何使用嵌入式llminfo/vllm-rocm:vllm-v0.2.4镜像和rocm5.7(rhel 8.7)的模型时出现RuntimeError, vllm
其他 gzjq41n45个月前浏览 (49)5个月前
1回答
50浏览
vllm Conda Forge Package vllm
其他 wvt8vs2t5个月前浏览 (50)5个月前
3回答
50浏览
vllm 基准测试脚本没有限制最大并发数, vllm
其他 y3bcpkx15个月前浏览 (50)5个月前
3回答
49浏览
vllm 输出文本中存在错误，但输出的token_ids是正确的, vllm
其他 w6lpcovy5个月前浏览 (49)5个月前
1回答
38浏览
vllm 任务意外完成 vllm
其他 mftmpeh85个月前浏览 (38)5个月前
1回答
58浏览
vllm 关于特殊标记 vllm
其他 monwx1rj5个月前浏览 (58)5个月前
2回答
43浏览
导入错误：/usr/local/lib/python3.10/dist-packages/vllm/_C.cpython-310-x86_64-linux-gnu.so: vllm
Python aij0ehis5个月前浏览 (43)5个月前
1回答
66浏览
vllm 在4xA100 cuda=12.1, pytorch=2.1.2环境下运行混合模型Mixtral-8x7B失败, vllm
其他 tct7dpnv5个月前浏览 (66)5个月前
5回答
54浏览
vllm [功能请求]指定GPU序号的方法 vllm
其他 2mbi3lxu5个月前浏览 (54)5个月前
4回答
50浏览
vllm [S-LoRA] 服务器API中的s-lora参数有问题, vllm
其他 wko9yo5t5个月前浏览 (50)5个月前
4回答
51浏览
vllm [修复]使用safetensor格式加速模型加载 vllm
其他 um6iljoc5个月前浏览 (51)5个月前
1回答
85浏览
vllm Cupy在Docker中的导入错误 vllm
Docker nwsw7zdq5个月前浏览 (85)5个月前
3回答
49浏览
[功能请求]在vLLM中输出注意力分数 vllm
其他 nwsw7zdq5个月前浏览 (49)5个月前
1回答
60浏览
vllm ValueError: 模型 QWenLMHeadModel 不支持 LoRA,但已启用 LoRA,未来可能会添加对该模型的支持,如果您对此很重要，请在 github 上打开一个问题, vllm
Git irtuqstp5个月前浏览 (60)5个月前
5回答
45浏览
VLLM目前是否支持QWEN LoRa模型？ vllm
其他 o2gm4chl5个月前浏览 (45)5个月前
2回答
40浏览
vllm 'SamplingParams' 对象没有 'update' 属性, vllm
其他 gmxoilav5个月前浏览 (40)5个月前
3回答
44浏览
vllm 当加载LoRa模块时，性能问题 vllm
其他 lbsnaicq5个月前浏览 (44)5个月前
1回答
41浏览
vllm 为不合并的QLORA/QA-QLORA权重添加支持 vllm
其他 tpgth1q75个月前浏览 (41)5个月前
5回答
54浏览
vllm加载SqueezeLLM量化模型失败 vllm
其他 bjp0bcyl5个月前浏览 (54)5个月前
1回答
56浏览
vllm 当运行pytest测试时，出现未定义的符号：_ZNSt15__exception_ptr13exception_ptr9_M_addrefEv, vllm
其他 6qfn3psc5个月前浏览 (56)5个月前
1回答
65浏览
vllm 在解码过程中，是否可能传递超过1个令牌？ vllm
其他 i2loujxw5个月前浏览 (65)5个月前
2回答
58浏览
vllm 当prompt_logprobs + enable_prefix_caching时出现错误, vllm
其他 xsuvu9jc5个月前浏览 (58)5个月前

热门标签

Java query python Node 开发语言 request Util 数据库 Table 后端算法 Logger Message Element Parser

最新问答

xxl-job 安全组扫描到执行器端口服务存在信息泄露漏洞
回答(1) 发布于 3个月前
xxl-job 不能和nacos兼容？
回答(3) 发布于 3个月前
xxl-job 任务执行完后无法结束，日志一直转圈
回答(3) 发布于 3个月前
xxl-job-admin页面上查看调度日志样式问题
回答(1) 发布于 3个月前
xxl-job 参数512字符限制能否去掉
回答(1) 发布于 2个月前