Hadoop3.x和Hive3.x是否可以使用Spark2.4？

ct3nt3jp 于 2021-05-27 发布在 Spark

关注(0)|答案(1)|浏览(1328)

我们使用spark2.4.0连接到hadoop2.7集群，并从hivemetastoreversion2.3进行查询。但是集群管理团队已经决定升级到hadoop3.x和hive3.x。我们还不能迁移到spark3，它与hadoop3和hive3兼容，因为我们不能测试是否有任何中断。
有没有可能坚持使用Spark2.4.x版本，而仍然能够使用Hadoop3和Hive3？
我知道backporting是一种选择，如果你能告诉我这个方向就太好了。

hadoop Hive apache-spark hadoop3 backwards-compatibility

来源：https://stackoverflow.com/questions/62754172/is-it-possible-to-use-hadoop-3-x-and-hive-3-x-using-spark-2-4

1条答案

按热度按时间

8gsdolmq1#

您可以使用hadoop3.1概要文件编译spark2.4，而不依赖于默认版本。你需要使用 hadoop-3.1 构建spark文档中描述的配置文件，例如：

./build/mvn -Pyarn -Phadoop-3.1 -DskipTests clean package

赞(0）回复(0）举报 2021-05-27

我来回答

Hadoop3.x和Hive3.x是否可以使用Spark2.4？

1条答案

相关问题

热门标签

最新问答