Apache·Ambari于2022年1月搬进阁楼。
因此,Apache·Ambari已经退役,我所知道的唯一可靠的替代方案是Cloudera Manager,但Cloudera Manager是一项付费服务,因此对中小型公司帮助不大。
现在有哪些工具可以帮助我们正确地安装和管理Hadoop生态系统,以便投入生产?我们不希望最终出现一个手动安装且难以管理的Hadoop生态系统。
有没有一些好的替代Apache·Ambari的产品?
6yt4nkrj1#
Apache·Ambari离开阁楼状态,重返Apache顶级项目
rebooting ambari
6vl6ewon2#
这个问题可以分成几类。
对于自托管解决方案,答案是配置管理+自动化工具。
Anable(+AWX/Tower)、Pupket(+Foreman或类似)、Chef等用于文件管理(配置即代码,GitOps风格)。这比Ambari好得多,因为配置文件模板(和历史记录)实际上是在VCS中备份的,而不是像Ambari(或Cloudera Manager)那样分散在几个HTML输入框中。
使用VMWare之类的虚拟化或以其他方式获取数据中心中的物理机。
除此之外,所有云提供商都有自己的 Jmeter 板,用于集群管理、资源调配和弹性扩展。对于一家“中小型公司”来说,你应该专注于你的业务问题,而不是基础设施维护,所以使用云。我亲自使用过EMR Terraform模块,对于基本集群来说,它相当简单(非生产,不需要维护很长时间)。没有一款云Hadoop产品使用Ambari。
您以前有apache-spark,为此,您可以只使用Databricks,而不需要整个Hadoop集群。
格拉凡纳。
Prometheus JMX Exporter可以添加到所有Hadoop JVM进程中。还可以添加节点和Blackbox Exporter,以用于CPU/Mem主机使用和TCP/HTTP运行状况检查。
最近的HDP版本已经开始使用Grafana来显示指标,其中很多都复制了Ambari小部件。
例如,Prometheus AlertManager,但您可能需要更强大的软件,如NewRelic、DataDog等。
色调可能是最接近文件浏览器、配置单元编辑器等的东西。
klh5stk13#
您应该查看以下内容:
https://bigtop.apache.org/ApacheBigtop-Bigtop是一个面向基础设施工程师和数据科学家的ApacheFoundation项目,旨在寻找领先的开源大数据组件的全面打包、测试和配置。Bigtop支持广泛的组件/项目,包括但不限于Hadoop、HBase和Spark。
3条答案
按热度按时间6yt4nkrj1#
Apache·Ambari离开阁楼状态,重返Apache顶级项目
rebooting ambari
6vl6ewon2#
这个问题可以分成几类。
配置
对于自托管解决方案,答案是配置管理+自动化工具。
Anable(+AWX/Tower)、Pupket(+Foreman或类似)、Chef等用于文件管理(配置即代码,GitOps风格)。这比Ambari好得多,因为配置文件模板(和历史记录)实际上是在VCS中备份的,而不是像Ambari(或Cloudera Manager)那样分散在几个HTML输入框中。
使用VMWare之类的虚拟化或以其他方式获取数据中心中的物理机。
除此之外,所有云提供商都有自己的 Jmeter 板,用于集群管理、资源调配和弹性扩展。对于一家“中小型公司”来说,你应该专注于你的业务问题,而不是基础设施维护,所以使用云。我亲自使用过EMR Terraform模块,对于基本集群来说,它相当简单(非生产,不需要维护很长时间)。
没有一款云Hadoop产品使用Ambari。
您以前有apache-spark,为此,您可以只使用Databricks,而不需要整个Hadoop集群。
监控小工具
格拉凡纳。
Prometheus JMX Exporter可以添加到所有Hadoop JVM进程中。还可以添加节点和Blackbox Exporter,以用于CPU/Mem主机使用和TCP/HTTP运行状况检查。
最近的HDP版本已经开始使用Grafana来显示指标,其中很多都复制了Ambari小部件。
Ambari警报
例如,Prometheus AlertManager,但您可能需要更强大的软件,如NewRelic、DataDog等。
UI查询函数(Ambari视图)
色调可能是最接近文件浏览器、配置单元编辑器等的东西。
klh5stk13#
您应该查看以下内容:
https://bigtop.apache.org/
ApacheBigtop-Bigtop是一个面向基础设施工程师和数据科学家的ApacheFoundation项目,旨在寻找领先的开源大数据组件的全面打包、测试和配置。Bigtop支持广泛的组件/项目,包括但不限于Hadoop、HBase和Spark。