功能描述

理想情况下，在示例化HuggingfaceInferenceAPI类时，应该能够指定推理参数(如温度、top_k、top_p、重复惩罚等),这些参数应传递给huggingface API。

原因

目前，似乎没有直接的方法来为使用HuggingfaceInferenceAPI加载的模型指定推理参数。对于"num_output"参数来说，例外情况是token的数量。

功能价值

参数调优对于良好的模型性能非常重要。不同的任务可能需要不同的参数设置，例如，RAG可能比其他生成任务更不具有“创造性”。