请支持Xorbits推理
https://github.com/xorbitsai/inference
https://inference.readthedocs.io/en/latest/models/model_abilities/rerank.html
Xorbits推理可以快速部署模型，类似于Localai和Ollama。但他目前只能支持重排模型，这是我目前非常需要的。
请支持Xorbits推理
https://github.com/xorbitsai/inference
https://inference.readthedocs.io/en/latest/models/model_abilities/rerank.html
Xorbits推理可以快速部署模型，类似于Localai和Ollama。但他目前只能支持重排模型，这是我目前非常需要的。
2条答案
按热度按时间ttygqcqt1#
Xinference支持多种模型引擎，包括Transformers、vLLM、Llama.cpp和SGLang。因此，从理论上讲，使用起来更加简单和方便！
vsdwdz232#
+1