我已经有了 Hadoop 3.0.0 安装。我现在应该从这个页面安装带hadoop还是不带hadoop版本的apachespark？
我按照这个指南开始使用apachespark。
上面写着
从这里下载apachespark的最新版本（根据hadoop版本预先构建）link:...
但我很困惑。如果我已经在我的机器上运行了一个hadoop示例，然后我下载、安装并运行apachespark和hadoop，它不会启动另一个hadoop示例吗？
我已经有了 Hadoop 3.0.0 安装。我现在应该从这个页面安装带hadoop还是不带hadoop版本的apachespark？
我按照这个指南开始使用apachespark。
上面写着
从这里下载apachespark的最新版本（根据hadoop版本预先构建）link:...
但我很困惑。如果我已经在我的机器上运行了一个hadoop示例，然后我下载、安装并运行apachespark和hadoop，它不会启动另一个hadoop示例吗？
2条答案
按热度按时间dgiusagp1#
这是对@cricket\u007的回答的补充。
如果您安装了hadoop，请不要使用hadoop下载spark，但是，由于任何版本的spark都不支持您的hadoop版本，因此您需要下载使用hadoop的版本。不过，您需要在您的机器上配置捆绑的hadoop版本，以便在其上运行spark。这意味着您在hadoop3上的所有数据都将丢失。因此，如果您需要这些数据，请在开始降级/重新配置之前备份这些数据。我认为由于某些环境变量的原因，您不能在同一个系统上托管两个hadoop示例。
i7uq4tfw2#
首先，据我所知，spark还不支持Hadoop3。您将注意到这一点，因为“您的hadoop版本”没有可供下载的选项。
您可以尝试设置
HADOOP_CONF_DIR以及HADOOP_HOME不管你下载的是哪一个，在你的spark-env.sh里。如果你已经有了hadoop，那么你应该下载不带hadoop的版本。
它不会启动另一个hadoop示例吗？
不，您仍然需要显式配置并启动该版本的hadoop。
我相信spark选项已经配置为使用附带的hadoop