在滚动部署期间优雅地退出akka群集节点

dm7nw8vv 于 2021-06-26 发布在 Mesos

关注(0)|答案(2)|浏览(326)

我们在docker运行akka集群，在mesos运行。该结构使得3个不同的应用程序（每个应用程序有4个示例）在集群内相互通信
当我们要进行部署时，我们使用marathon升级策略特性进行部署。它的配置方式是使用最新的解聚剂创建一个新节点，然后杀死一个旧节点并继续此过程，直到所有节点都启动。我们使用下面的配置来实现相同的功能（对于4个节点）

"upgradeStrategy": {
    "minimumHealthCapacity": 1,
    "maximumOverCapacity": 0.3
},

我们的主要目标是在部署过程中尽量减少故障。然而，其他应用程序中的节点需要一些时间来了解这个被杀死的节点，并且一些流量被引导到最终失败的节点。我们调整了集群故障检测器以减少这一时间，但在部署窗口期间仍然可以看到很好的%故障
如何处理这个问题。有没有办法捕获来自Mesos的信号，并优雅地将节点从集群中移除

akka docker mesos marathon akka-cluster

来源：https://stackoverflow.com/questions/63069473/gracefully-exiting-akka-cluster-node-during-rolling-deployment

2条答案

按热度按时间

ev7lccsx1#

我可能会用akka管理 akka.management.http.route-providers-read-only 设置为 false . 这公开了akka集群管理http端点，它允许您通过http调用更改集群状态。
感兴趣的http端点是 DELETE /cluster/members/{address} 其中address是类似于 akka://Main@ip.add.re.ss:port . 根据马拉松部署的具体情况，ip地址和端口可以作为环境变量提供给docker入口点。因此，您可以在应用程序退出后将应用程序启动脚本修改为：
在marathonapi中查询应用程序的其他示例
在其他示例上点击上面的端点（多亏了gossip协议，一个就足够了，但是随着集群的增大，在gossip到达之前点击节点上这个端点的概率会增加）
当应用程序关闭时，仍会有一个窗口，其他节点认为该窗口仍在运行，但这可能比等待故障检测器判断某个节点关闭要快（如果您有一个应用程序（例如，大量使用持久参与者的应用程序），您希望将误报故障最小化，您可以在具有快速故障检测窗口的同时放宽故障检测阈值）。