Apache·Ambari退役了,接下来是什么?

2nbm6dog  于 2022-09-20  发布在  Hadoop
关注(0)|答案(3)|浏览(414)

Apache·Ambari于2022年1月搬进阁楼

因此,Apache·Ambari已经退役,我所知道的唯一可靠的替代方案是Cloudera Manager,但Cloudera Manager是一项付费服务,因此对中小型公司帮助不大。

现在有哪些工具可以帮助我们正确地安装和管理Hadoop生态系统,以便投入生产?我们不希望最终出现一个手动安装且难以管理的Hadoop生态系统。

有没有一些好的替代Apache·Ambari的产品?

6yt4nkrj

6yt4nkrj1#

Apache·Ambari离开阁楼状态,重返Apache顶级项目

rebooting ambari

6vl6ewon

6vl6ewon2#

这个问题可以分成几类。

配置

对于自托管解决方案,答案是配置管理+自动化工具。

Anable(+AWX/Tower)、Pupket(+Foreman或类似)、Chef等用于文件管理(配置即代码,GitOps风格)。这比Ambari好得多,因为配置文件模板(和历史记录)实际上是在VCS中备份的,而不是像Ambari(或Cloudera Manager)那样分散在几个HTML输入框中。

使用VMWare之类的虚拟化或以其他方式获取数据中心中的物理机。

除此之外,所有云提供商都有自己的 Jmeter 板,用于集群管理、资源调配和弹性扩展。对于一家“中小型公司”来说,你应该专注于你的业务问题,而不是基础设施维护,所以使用云。我亲自使用过EMR Terraform模块,对于基本集群来说,它相当简单(非生产,不需要维护很长时间)。
没有一款云Hadoop产品使用Ambari。

您以前有apache-spark,为此,您可以只使用Databricks,而不需要整个Hadoop集群。

监控小工具

格拉凡纳。

Prometheus JMX Exporter可以添加到所有Hadoop JVM进程中。还可以添加节点和Blackbox Exporter,以用于CPU/Mem主机使用和TCP/HTTP运行状况检查。

最近的HDP版本已经开始使用Grafana来显示指标,其中很多都复制了Ambari小部件。

Ambari警报

例如,Prometheus AlertManager,但您可能需要更强大的软件,如NewRelic、DataDog等。

UI查询函数(Ambari视图)

色调可能是最接近文件浏览器、配置单元编辑器等的东西。

klh5stk1

klh5stk13#

您应该查看以下内容:

https://bigtop.apache.org/
ApacheBigtop-Bigtop是一个面向基础设施工程师和数据科学家的ApacheFoundation项目,旨在寻找领先的开源大数据组件的全面打包、测试和配置。Bigtop支持广泛的组件/项目,包括但不限于Hadoop、HBase和Spark。

相关问题