我正在将TensorFlow模型投入生产，我想优化推理过程，以避免每次需要预测时重新加载模型。目前，我正在为每个推理请求使用tf.keras.models.load_model函数加载模型，但这会增加很大的开销。我使用下面的脚本来避免重新加载，但它不工作。

import tensorflow as tf

# Define a global variable to store the loaded model
global loaded_model
loaded_model = None

# Function to load the model if it hasn't been loaded
def load_cached_model():
    global loaded_model
    
    if loaded_model is None:
        loaded_model = tf.keras.models.load_model('path_to_model.h5')
    
    return loaded_model

# Example inference function
def inference(input_data):
    # Load or retrieve the cached model
    model = load_cached_model()
    
    # Perform inference with the model
    predictions = model.predict(input_data)
    
    return predictions

# Example usage in a production scenario
if __name__ == "__main__":
    input_data_1 = ...  # Prepare input data for the first request
    output_1 = inference(input_data_1)  # Inference with the cached model
    
    input_data_2 = ...  # Prepare input data for the second request
    output_2 = inference(input_data_2)  # Inference with the cached model

是否有最佳实践或推荐的方法来避免在生产部署的推理过程中重新加载模型？在生产环境中，我可以实现什么策略或缓存机制来优化推理过程并提高模型的效率？
我很感激任何关于在生产环境中管理模型缓存和避免冗余模型重新加载的见解、示例或最佳实践。