我对spark和ambari的集群安装比较新。最近，我接到一个任务，在一个集群上安装spark2.1.0，这个集群预装了ambari和spark1.6.2以及hdfs和yarn 2.7.3。
我的任务是安装spark 2.1.0，因为它是最新版本，具有更好的compacity和rspark等功能。我在网上搜索了几天，只在aws或spark2.1.0上找到了一些安装指南。
例如：http://data-flair.training/blogs/install-deploy-run-spark-2-x-multi-node-cluster-step-by-step-guide/ 以及http://spark.apache.org/docs/latest/building-spark.html.
但他们都没有提到Spark的不同版本的干扰。因为我需要保持这个集群运行，我想知道一些集群的潜在威胁。
有没有合适的安装方法？谢谢！
1条答案
按热度按时间vh0rcniy1#
如果您想让您的spark2安装由ambari管理，那么spark2必须由ambari提供。
HDP2.5.3不支持spark 2.1.0，但是它附带了spark 2.0.0的技术预览版。
您可以选择：
手动安装spark 2.1.0，而不是由ambari管理
使用spark 2.0.0代替hdp 2.5.3提供的spark 2.1.0
使用不同的堆栈。ibm开放平台（iop）4.3计划于2017年发布，它将附带spark 2.1.0支持。您可以从今天的技术预览版开始使用它。
升级hdp（2.6），支持spark2.1。
扩展HDP2.5堆栈以支持spark 2.1.0。您可以在wiki上看到如何自定义和扩展ambari堆栈。这将允许您使用spark 2.1.0并由ambari管理。然而，这将是一个很大的工作来实现，因为你是新的Ambari这将是相当困难的。