如何在hadoop工作机之间同步配置

lrpiutwd  于 2021-05-27  发布在  Hadoop
关注(0)|答案(1)|浏览(378)

我们有巨大的hadoop集群,我们安装了一个协调器preso节点和850个presto工人节点。现在我们要更改文件中的值- config.properties 但是所有的工人都应该这样做!
所以在下面

/opt/DBtasks/presto/presto-server-0.216/etc

文件是这样的

[root@worker01 etc]# more config.properties

# 

coordinator=false
http-server.http.port=8008
query.max-memory=50GB
query.max-memory-per-node=1GB
query.max-total-memory-per-node=2GB
discovery.uri=http://master01.sys76.com:8008

我们想把它改成

coordinator=false
http-server.http.port=8008
query.max-memory=500GB
query.max-memory-per-node=5GB
query.max-total-memory-per-node=20GB
discovery.uri=http://master01.sys76.com:8008

但是这只在第一个节点worker01上完成,但是我们也需要在所有worker上完成。好吧-我们可以通过scp将这个文件复制到所有其他worker,但不是在root被限制的情况下,而是我想知道的是,如果presto已经考虑了更优雅的方法,即在所有workers节点上同步配置,在我们设置新值之后,我们还需要重新启动presto louncer脚本
普雷斯托有解决办法吗?
我必须告诉我,我的集群是限制根,所以我们不能通过ssh复制文件

deikduxw

deikduxw1#

presto无法同步配置。这是您需要在外部管理的内容,例如使用ansible之类的工具。还有项目命令行工具presto admin(https://github.com/prestosql/presto-admin)有助于在集群中部署配置。
此外,如果您使用的是aws之类的公共云,那么starburst提供了一些商业解决方案(https://www.starburstdata.com/)这也可以帮助管理配置。

相关问题