关于使用MLC-LLM编译的一般问题:
(venv) root@0192b97af942:/workspace/venv/lib/python3.11/site-packages/mlc_llm# python3 -c "import mlc_llm; print(mlc_llm.__file__)"
/workspace/venv/lib/python3.11/site-packages/mlc_llm/__init__.py
(venv) root@0192b97af942:/workspace/venv/lib/python3.11/site-packages/mlc_llm# python3 -m mlc_llm.build --model /workspace/lora_model --target cuda --quantization q4f16_1 --use-safetensors --artifact-path /workspace/compiled-models
/workspace/venv/bin/python3: No module named mlc_llm.build
P.S. 我已经在lora_model文件夹中有了special_tokens_map、tokenizer_config和tokenizer JSON文件。我需要这些文件来使用MLC-LLM编译我的微调模型吗?
1条答案
按热度按时间9njqaruj1#
mlc_llm.build是一个已弃用的接口,请参考最新的文档:
https://llm.mlc.ai/docs/compilation/convert_weights.html
https://llm.mlc.ai/docs/compilation/compile_models.html