你好，你可以参考以下文档和代码示例：

• https://github.com/microsoft/DeepSpeed/tree/master/blogs/deepspeed-fastgen
• https://github.com/microsoft/DeepSpeedExamples/tree/master/inference/mii

用于添加新的不受支持的模型：

• https://github.com/microsoft/DeepSpeed/blob/master/deepspeed/inference/v2/model_implementations/AddingAModel.md

要加载本地的huggingface检查点，你可以在 pipeline 中指定绝对目录路径。

感谢你发送这个信息 - 抱歉我没有解释得很好。
实际上我想知道的是从HuggingFace检查点减少自己微调模型的加载时间的方法，因为我发现使用默认模型似乎要快得多。
特别是，这个PR microsoft/DeepSpeed#4664 引用了添加*'从引擎中创建快照并从中恢复的能力'* - 因此我想知道如何保存和加载那个引擎，以便减少第一次加载非持久性管道所需的时间？