我在Azure上有资源组。我已经创建了3个Azure openai服务，但我想知道是否可以在这3个应用服务上放置负载平衡器来平衡它们之间的负载，是否可以这样做？？或者我需要应用哪种负载平衡器技术来平衡多个请求。
kdfy810k1#
您可以使用Azure负载均衡器或Azure应用程序网关跨应用程序的多个示例分发传入流量。您的三个开放AI服务都可以添加到后端池中。
在Azure负载均衡器后端池中添加了两个开放的AI服务
您可以创建一个运行状况探测器来监视后端示例的运行状况和延迟。
在负载均衡器上定义一条规则，以定义如何在后端示例之间分配流量。
Azure负载均衡器支持两种类型的分发算法：
1.循环分配：在所有运行正常的示例之间均匀分配流量。2.源IP亲和度分布：根据客户端的源IP地址分发流量。
负载平衡MS document 1、MS document 2的参考链接。
1条答案
按热度按时间kdfy810k1#
您可以使用Azure负载均衡器或Azure应用程序网关跨应用程序的多个示例分发传入流量。您的三个开放AI服务都可以添加到后端池中。
在Azure负载均衡器后端池中添加了两个开放的AI服务
您可以创建一个运行状况探测器来监视后端示例的运行状况和延迟。
在负载均衡器上定义一条规则，以定义如何在后端示例之间分配流量。
Azure负载均衡器支持两种类型的分发算法：
1.循环分配：在所有运行正常的示例之间均匀分配流量。
2.源IP亲和度分布：根据客户端的源IP地址分发流量。
负载平衡MS document 1、MS document 2的参考链接。