我已经在本地计算机上安装了mesos,并按照mesos设置中所述对其进行了配置。现在我想在本地机器上安装的mesos上运行spark。我已经根据官方文档配置了spark,并在本地机器上运行了单节点hadoop集群。spark二进制软件包被复制到hdfs根目录,我在spark-env.sh中设置了以下属性:
export MESOS_NATIVE_JAVA_LIBRARY=/usr/local/lib/libmesos.so
export SPARK_EXECUTOR_URI=hdfs://spark-2.2.0-bin-hadoop2.7.tgz
是spark-defaults.conf:
spark.executor.uri hdfs://spark-2.2.0-bin-hadoop2.7.tgz
运行spark时:
/bin/spark-shell --master mesos://host:5050
正在给出以下错误:
ERROR SparkContext: Error initializing SparkContext.
org.apache.spark.SparkException: Could not parse Master URL: 'mesos://host:5050'
请指导我做错了什么以及如何改正。
1条答案
按热度按时间ycl3bljg1#
我已经成功地在mesos上安装了apachespark。请在你的ubuntu机器上执行以下步骤。