inference

inference+ 关注

文章：0|问答：3|关注：0

暂无介绍

3回答
60浏览
inference 在启动内置模型时支持自定义模型权重目录 inference
其他 sirbozc55个月前浏览 (60)5个月前
2回答
54浏览
inference 当我使用src模型scope启动jina时，发现这个bug:https://huggingface.co'无法加载此文件，因为在缓存文件中找不到它，看起来jinaai/jina-bert-implementation不是包含名为configuration_bert.py的文件的目录路径, inference
其他 kpbwa7wx5个月前浏览 (54)5个月前
4回答
64浏览
inference CUDA错误：无效的参数 CUDA内核错误可能会在某些其他API调用中异步报告，因此下面的堆栈跟踪可能不正确,为了调试，请考虑传递CUDA_LAUNCH_BLOCKING=1,使用TORCH_USE_CUDA_DSA编译以启用设备端Assert, inference
其他 nkkqxpd95个月前浏览 (64)5个月前
7回答
63浏览
根据官网要求，通过K8s集群部署kbcli addon enable xinference时提示not found, inference
其他 lnvxswe25个月前浏览 (63)5个月前
2回答
62浏览
inference 关于对MLX UI界面问题的支 inference
其他 lqfhib0f5个月前浏览 (62)5个月前
1回答
61浏览
inference 增加 embedding 模型默认输出未归一化的向量 inference
其他 nhn9ugyo5个月前浏览 (61)5个月前
1回答
43浏览
支持特征中的MInference, inference
其他 xzlaal3s5个月前浏览 (43)5个月前
7回答
45浏览
inference 升级vllm和sglang到新版本并正确支持gemma模型 inference
其他 vatpfxk55个月前浏览 (45)5个月前
1回答
48浏览
inference 在注册自定义模型后，测试页面不可用, inference
其他 z9gpfhce5个月前浏览 (48)5个月前
2回答
43浏览
inference max_new_tokens(=512)和max_length(=518)似乎都已设置,max_new_tokens将优先考虑,请参阅文档以获取更多信息, inference
其他 mbyulnm05个月前浏览 (43)5个月前
4回答
208浏览
inference 启动失败，基础镜像从pytorch/pytorch:2.1.2-cuda12.1-cudnn8-devel切换到vllm/vllm-openai:latest时出错, inference
其他 yyhrrdl85个月前浏览 (208)5个月前
2回答
56浏览
inference 支持IPU加速吗？ inference
其他 sxissh065个月前浏览 (56)5个月前
1回答
50浏览
xinference微调模型的支持 inference
其他 hc8w905p5个月前浏览 (50)5个月前
2回答
317浏览
inference 使用最新的GLM-4聊天9b模型进行推理失败, inference
其他 bsxbgnwa5个月前浏览 (317)5个月前
1回答
60浏览
inference v1/completions接口无法使用，返回空字符串 inference
其他 hk8txs485个月前浏览 (60)5个月前
2回答
44浏览
inference 显示启动模型失败，load失败 inference
其他 9vw9lbht5个月前浏览 (44)5个月前
1回答
51浏览
inference 建议新增对图嵌入模型的支持, inference
其他 pbpqsu0x5个月前浏览 (51)5个月前
7回答
55浏览
当使用xinference的API服务调用时，如果请求过多，xinference本地API会直接卡死, inference
其他 7kqas0il5个月前浏览 (55)5个月前
1回答
39浏览
inference 注意力掩码大小不匹配错误和输入选择的问题 inference
其他 7lrncoxx5个月前浏览 (39)5个月前
1回答
43浏览
inference 关于注册自定义模型的prompt_style参数说明 inference
其他 hyrbngr75个月前浏览 (43)5个月前
1回答
47浏览
inference ui界面可以支持audio模型指定worker启动吗 inference
其他 oyxsuwqo5个月前浏览 (47)5个月前
1回答
50浏览
inference 增加embedding多卡分布式部署能力 inference
其他 gpfsuwkq5个月前浏览 (50)5个月前
1回答
53浏览
k8s拉起xinference能够pod，running，但是内置的模型，不能运行起来；但是手动进入pod里面，执行命令后，能够把模型运行起来，显存成功占用，是为什么 inference
其他 qlvxas9a5个月前浏览 (53)5个月前
5回答
51浏览
【Reranker建议】xinference的页面端建议支持半精度启动reranker inference
其他 iecba09b5个月前浏览 (51)5个月前
1回答
54浏览
xinference 在cuda118环境下可以安装使用吗？ inference
其他 txu3uszq5个月前浏览 (54)5个月前
1回答
82浏览
inference 启动自定义模型失败，显示"No such file or directory: '/D:/Pretrainedmodels3/ZhipuAI/chat4/glm-4-9b-chat' -> '/home/chat4/glm-4-9b-chat'", inference
其他 db2dz4w85个月前浏览 (82)5个月前
1回答
43浏览
xinference api调用报错 Fast Chat AI error:{"detail":"方法不允许"} inference
其他 pgx2nnw85个月前浏览 (43)5个月前
2回答
53浏览
xinference启动一段时间后，embedding API访问异常,错误详情：[地址=0.0.0.0:37167,进程ID=193948] [Errno 5] 输入/输出错误, inference
其他 wwwo4jvm5个月前浏览 (53)5个月前
2回答
40浏览
inference rerank模型启动时，页面支持选择use_fp16参数 inference
其他 f45qwnt85个月前浏览 (40)5个月前
2回答
88浏览
inference qwen1.5-moe-chat模型加载失败 inference
其他 2eafrhcq5个月前浏览 (88)5个月前

热门标签

Java query python Node 开发语言 request Util 数据库 Table 后端算法 Logger Message Element Parser

最新问答

xxl-job 安全组扫描到执行器端口服务存在信息泄露漏洞
回答(1) 发布于 3个月前
xxl-job 不能和nacos兼容？
回答(3) 发布于 3个月前
xxl-job 任务执行完后无法结束，日志一直转圈
回答(3) 发布于 3个月前
xxl-job-admin页面上查看调度日志样式问题
回答(1) 发布于 3个月前
xxl-job 参数512字符限制能否去掉
回答(1) 发布于 3个月前