vllm

vllm+ 关注

文章：0|问答：0|关注：0

暂无介绍

4回答
61浏览
vllm [用法]:无法加载 mistralai/Mixtral-8x7B-Instruct-v0.1 vllm
其他 mw3dktmi5个月前浏览 (61)5个月前
4回答
90浏览
vllm [特性]:允许指定为内存中的Tensor字典的LoRA适配器翻译结果：[特性]:允许将LoRA适配器指定为内存中的Tensor字典, vllm
其他 des4xlb05个月前浏览 (90)5个月前
9回答
124浏览
[Bug]: 使用response_format json两次发送请求会破坏vLLM, vllm
其他 0s7z1bwu5个月前浏览 (124)5个月前
3回答
56浏览
vllm [Bug]:运行时错误：未知布局 vllm
其他 j0pj023g5个月前浏览 (56)5个月前
3回答
169浏览
vllm [用法]:我们如何添加模型钩子？ vllm
其他 eiee3dmh5个月前浏览 (169)5个月前
1回答
112浏览
[安装]:如何使用CUDA 11.7和PyTorch 2.0.1安装最新版本的vLLM? vllm
其他 pxy2qtax5个月前浏览 (112)5个月前
1回答
120浏览
[FacebookAI/roberta-large]: vllm支持FacebookAI/roberta-large vllm
其他 hwamh0ep5个月前浏览 (120)5个月前
1回答
124浏览
vllm [Bug]: 运行时错误：没有合适的内核,h_in=16, h_out=55552, dtype=Float, out_dtype=BFloat16 vllm
其他 vsmadaxz5个月前浏览 (124)5个月前
6回答
126浏览
vllm [Bug]: NCCL在推理过程中超时 vllm
其他 yiytaume5个月前浏览 (126)5个月前
1回答
143浏览
vllm [Bug]:Ray在多机器集群中无法检测到所有节点, vllm
其他 wxclj1h55个月前浏览 (143)5个月前
4回答
125浏览
vllm [RFC]:内联黄金(预期)测试 vllm
其他 bvjxkvbb5个月前浏览 (125)5个月前
4回答
106浏览
[Bug]:无法使用vLLM来提供微调的Mistral模型, vllm
其他 xienkqul5个月前浏览 (106)5个月前
4回答
39浏览
vllm [特性]:支持不使用nvcc的kv-cache-dtype fp8 vllm
其他 nsc4cvqm5个月前浏览 (39)5个月前
1回答
80浏览
vllm [Usage]: prefix-caching vllm
其他 w8ntj3qf5个月前浏览 (80)5个月前
3回答
41浏览
vllm [Feature]: vAttention vllm
其他 iklwldmw5个月前浏览 (41)5个月前
1回答
47浏览
[Bug]:我无法在两个GPU上使用vllm lora,但一个GPU是可以的, vllm
其他 anauzrmj5个月前浏览 (47)5个月前
1回答
49浏览
vllm [特性]:支持LoRa,例如qwen-7b和qwen1.5, vllm
其他 fhity93d5个月前浏览 (49)5个月前
1回答
44浏览
vllm [用法]:多个模型时出现内存不足 ```markdown [用法]:多个模型时出现内存不足 ``` vllm
其他 t5fffqht5个月前浏览 (44)5个月前
2回答
38浏览
vllm [用法]:每个请求获取时间统计信息 vllm
其他 vpfxa7rd5个月前浏览 (38)5个月前
1回答
49浏览
vllm [特性]:通过除pybind11之外的工具绑定Python和C++ vllm
Python wtzytmuj5个月前浏览 (49)5个月前
4回答
50浏览
[性能]:基准测试vllm复制内核和pytorch索引复制 vllm
其他 nc1teljy5个月前浏览 (50)5个月前
1回答
39浏览
vllm [性能]:当SamplingParams.logprobs增加时，生成吞吐量大幅下降, vllm
其他 doinxwow5个月前浏览 (39)5个月前
1回答
46浏览
vllm [Feature]: Supporting a version of Consistency LLM vllm
其他 zf2sa74q5个月前浏览 (46)5个月前
4回答
124浏览
[性能]:为什么在基准吞吐量测试中，HF比VLLM更好？ vllm
其他 0h4hbjxa5个月前浏览 (124)5个月前
1回答
38浏览
vllm [Bug]: 在多次调用后使用线程,KeyError: request_id vllm
其他 uhry853o5个月前浏览 (38)5个月前
1回答
44浏览
vllm [Bug]: export failed when kv cache fp8 quantizing Qwen1.5-72B-Chat-GPTQ-Int4 vllm
其他 woobm2wo5个月前浏览 (44)5个月前
1回答
39浏览
[用法]:我使用llama3,我在tokenizer.get_vocab()中发现了一个令牌'Ġor',但是当我使用vllm服务器时，我得到了' or '的响应, vllm
其他 nbewdwxp5个月前浏览 (39)5个月前
7回答
62浏览
[Bug]: 英伟达最新驱动555.85,vllm运行报错 vllm
其他 wlwcrazw5个月前浏览 (62)5个月前
6回答
53浏览
[功能]:添加额外的指标，以便在Kubernetes中更好地实现vLLM服务器的自动扩展/负载均衡, vllm
Kubernetes zfycwa2u5个月前浏览 (53)5个月前
1回答
43浏览
vllm [特性]:添加 num_requests_preempted 指标 vllm
其他 ekqde3dh5个月前浏览 (43)5个月前

热门标签

Java query python Node 开发语言 request Util 数据库 Table 后端算法 Logger Message Element Parser

最新问答

xxl-job 安全组扫描到执行器端口服务存在信息泄露漏洞
回答(1) 发布于 3个月前
xxl-job 不能和nacos兼容？
回答(3) 发布于 3个月前
xxl-job 任务执行完后无法结束，日志一直转圈
回答(3) 发布于 3个月前
xxl-job-admin页面上查看调度日志样式问题
回答(1) 发布于 3个月前
xxl-job 参数512字符限制能否去掉
回答(1) 发布于 3个月前