langchain4j [功能] AI模型/提供商池，或备用模型

rkue9o1l 于 3个月前发布在其他

关注(0)|答案(3)|浏览(74)

您的功能请求是否与问题相关？请描述。

我对在工作中尝试langchain4j感兴趣，因为它为使用不同的LLM提供商提供了更高级别的抽象。我们目前只使用OpenAI,但希望将更多的提供商添加到混合中，包括为了弹性目的。例如，如果一个提供商宕机或出现间歇性问题——调用下一个可用的提供商。
也许这已经在langchain4j中实现了，所以如果你能给我一个例子或者在文档中指出位置的话，可以随时关闭此问题。但是我想知道的是：是否有一种简单的方法来创建一个“池”，在其中自动回退，如果一个模型/提供商出错的话。

描述您想要的解决方案

这个池应该以预测的方式“路由”请求：即给定一个首选的模型/提供商和一个按顺序排列的后备模型列表，它应该沿着列表向下走，直到请求成功为止。
我可以想象一个API看起来像这样：

Response<AiMessage> generate(
    List<ChatMessage> messages, 
    String preferredModel, 
    List<String> fallbackModels
);

对于流式请求也是如此。

描述您考虑过的替代方案

我可以自己编写一个 Package 器，但我认为将其作为库的一部分可能是一个有用的抽象。此外，我对langchain4j及其实现的所有抽象并不太熟悉，所以我主要是在寻找开箱即用的解决方案。

附加上下文

我认为关于特定模型的速率限制以及达到速率限制时回退的行为可能是池实现/配置的一部分。

langchain4j

来源：https://github.com/langchain4j/langchain4j/issues/874

3条答案

按热度按时间

kjthegm61#

你可以实现一个故障转移代理类来管理故障转移逻辑。以下是一个示例：

public class ChatLanguageModelFailoverProxy implements ChatLanguageModel {

    private final Collection<ChatLanguageModel> chatLanguageModels;

    public ChatLanguageModelFailoverProxy(Collection<ChatLanguageModel> chatLanguageModels) {
        this.chatLanguageModels = chatLanguageModels;
    }

    @Override
    public String generate(String userMessage) {
        for (ChatLanguageModel chatLanguageModel : chatLanguageModels) {
            try {
                return chatLanguageModel.generate(userMessage);
            } catch (Exception e) {
                // Handle the exception here without stopping the loop
            }
            // Proceed to the next model if the current one fails
        }
        // You may want to throw a custom exception here
        throw new RuntimeException("All models failed to generate a response");
    }

    // You can implement other methods here...
}

如果你正在使用Spring,你可以使用Spring的AOP来简化这个过程。

赞(0）回复(0）举报 3个月前

fdx2calv2#

要实现全面的速率限制和故障回退功能，可以考虑使用Resilience4J、Hystrix或Spring Retry这样的断路器框架。这些框架提供了帮助管理故障并在应用程序中实施故障回退机制的功能。您可能需要将这些功能集成到您的ChatLanguageModel中，使用动态代理或AOP。

赞(0）回复(0）举报 3个月前

jhkqcmku3#

如果你正在使用Quarkus,Quarkus-LangChain4j扩展会自动处理这个问题：

$x_1^e_0^f_1^x$

赞(0）回复(0）举报 3个月前