vllm

vllm+ 关注

文章：0|问答：0|关注：0

暂无介绍

1回答
38浏览
vllm [Bug]: enable_prefix_caching 导致持续的非法内存访问错误 vllm
其他 brvekthn4个月前浏览 (38)4个月前
4回答
106浏览
vllm 支持TPU硬件 vllm
其他 rlcwz9us5个月前浏览 (106)5个月前
1回答
60浏览
vllm 从内存中推断出miqu-1-70b-sf-gptq(其他70b模型都正常), vllm
其他 yqkkidmi5个月前浏览 (60)5个月前
3回答
38浏览
vllm 分布式批处理推理示例无法工作 vllm
其他 j8ag8udp5个月前浏览 (38)5个月前
8回答
49浏览
vllm 请为更高等级和α值添加LoRa支持, vllm
其他 bfnvny8b5个月前浏览 (49)5个月前
1回答
48浏览
vllm CPU KV缓存何时使用和交换？ vllm
其他 c9qzyr3d5个月前浏览 (48)5个月前
5回答
57浏览
vllm HQQ量化支持 vllm
其他 i2byvkas5个月前浏览 (57)5个月前
1回答
42浏览
vllm 控制最大队列时间 vllm
其他 xzabzqsa5个月前浏览 (42)5个月前
2回答
140浏览
vllm 请问lora后的vl模型是否可以支持，例如在swift中微调qwen-vl-chat后，是否可以进行部署？ vllm
Swift nkkqxpd95个月前浏览 (140)5个月前
1回答
168浏览
vllm `yarn_linear_ramp_mask()`函数缺少一个必需的位置参数：'device', vllm
Yarn ddrv8njm5个月前浏览 (168)5个月前
8回答
58浏览
vllm --tensor-parallel-size 2 fails to load on GCP vllm
其他 8qgya5xd5个月前浏览 (58)5个月前
6回答
180浏览
vllm api_server.py: 错误：无法识别的参数：--lora-modules sql-lora=~/.cache/huggingface/hub/models--yard1--llama-2-7b-sql-lora-test/ vllm
其他 rhfm7lfc5个月前浏览 (180)5个月前
1回答
101浏览
当使用djl-deepspeed时，vllm一直挂起, vllm
其他 xam8gpfp5个月前浏览 (101)5个月前
4回答
57浏览
vllm 如何调用/添加一个新的lora模块到实时服务器？ vllm
其他 piwo6bdm5个月前浏览 (57)5个月前
5回答
152浏览
vllm [功能请求]考虑将QUICK内核集成到AWQ量化中, vllm
其他 xjreopfe5个月前浏览 (152)5个月前
5回答
116浏览
vllm部署的qwen-14B的结果与原始qwen-14B的结果不一致, vllm
其他 b4qexyjb5个月前浏览 (116)5个月前
4回答
102浏览
vllm 运行时异常[步骤必须是非零] vllm
其他 fdbelqdn5个月前浏览 (102)5个月前
1回答
68浏览
vllm Speculative Streaming: 快速的LLM推理，无需辅助模型 vllm
其他 ht4b089n5个月前浏览 (68)5个月前
4回答
170浏览
vllm 当使用较小的`max_num_seqs`初始化LLM时，unittest test_prefix_caching失败, vllm
其他 1hdlvixo5个月前浏览 (170)5个月前
4回答
43浏览
vllm AWQ量化内存使用 ``` AWQ量化内存使用 ``` vllm
其他 ni65a41a5个月前浏览 (43)5个月前
3回答
103浏览
基于vllm qwen7B的服务结果与原始qwen结果不一致，准确性将显著下降, vllm
其他 idv4meu85个月前浏览 (103)5个月前
5回答
63浏览
vllm QWen系列模型的答案准确率丢失, vllm
其他 jxct1oxe5个月前浏览 (63)5个月前
1回答
52浏览
基于vllm qwen7B的推理结果也导致了准确性的降低, vllm
其他 o0lyfsai5个月前浏览 (52)5个月前
1回答
65浏览
qwen14B通过VLLM加速的推理结果准确度降低了, vllm
其他 p5fdfcr15个月前浏览 (65)5个月前
4回答
61浏览
vllm Tokenization问题对于google/gemma-7b-it vllm
Go wixjitnu5个月前浏览 (61)5个月前
4回答
126浏览
vllm 支持AMD消费级GPU vllm
其他 mum43rcc5个月前浏览 (126)5个月前
1回答
43浏览
VLLM框架是否能在后期支持华为的910B芯片？ vllm
其他 eiee3dmh5个月前浏览 (43)5个月前
1回答
191浏览
vllm 致命的Python错误：段错误(Segmentation fault) vllm
Python yfjy0ee75个月前浏览 (191)5个月前
1回答
115浏览
在VLLM中的批处理 vllm
其他 ykejflvf5个月前浏览 (115)5个月前
5回答
54浏览
vllm TypeError: 'NoneType'对象不可调用 vllm
其他 vs91vp4v5个月前浏览 (54)5个月前

热门标签

Java query python Node 开发语言 request Util 数据库 Table 后端算法 Logger Message Element Parser

最新问答

xxl-job 安全组扫描到执行器端口服务存在信息泄露漏洞
回答(1) 发布于 3个月前
xxl-job 不能和nacos兼容？
回答(3) 发布于 3个月前
xxl-job 任务执行完后无法结束，日志一直转圈
回答(3) 发布于 3个月前
xxl-job-admin页面上查看调度日志样式问题
回答(1) 发布于 3个月前
xxl-job 参数512字符限制能否去掉
回答(1) 发布于 3个月前