1.1 Run Qwen-7B-QAnything (Recommended for GPU VRAM > 16GB, otherwise you can try 3B/1.8B LLM)
## Step 1. Download the public LLM model (e.g., Qwen-7B-QAnything) and save to "/path/to/QAnything/assets/custom_models"
cd /path/to/QAnything/assets/custom_models
git clone https://huggingface.co/netease-youdao/Qwen-7B-QAnything
## Step 2. Execute the service startup command. Here we use "-b hf" to specify the Huggingface transformers backend.
## Here we use "-b hf" to specify the transformers backend that will load model in 8 bits but do bf16 inference as default for saving VRAM.
cd /path/to/QAnything
bash ./run.sh -c local -i 0 -b hf -m Qwen-7B-QAnything -t qwen-7b-qanything
5条答案
按热度按时间bttbmeg01#
在win10中有什么方法可以修复它吗?
gcxthw6b2#
你好,你可以尝试安装一个双系统,如Windows和Linux(如Ubuntu),或者使用虚拟化软件(如VMware)来安装Ubuntu系统。
此外,我们计划开发一个新版本,使用另一个后端进行llm推理。
at0kjp5o3#
当前版本的qanything还不支持win10,对吗?
kupeojn64#
@highkay 是的。
lx0bsm1f5#
对于Win10,您可以按照以下步骤玩QAnything。
如需了解更多信息,请参考 https://github.com/netease-youdao/QAnything/blob/master/docs/QAnything_Startup_Usage_README.md 。