可以连接到本地主机,但不能连接到远程,pyspark

mzmfm0qo  于 2021-05-17  发布在  Spark
关注(0)|答案(0)|浏览(256)

我试着从 anaconda 文件:

from pyspark import SparkConf
from pyspark import SparkContext
import findspark
findspark.init('/home/Snow/anaconda3/lib/python3.8/site-packages/pyspark')

conf = SparkConf()
conf.setMaster('local[*]')
conf.setAppName('spark')
sc = SparkContext(conf=conf)

def mod(x):
    import numpy as np
    return (x, np.mod(x, 2))

rdd = sc.parallelize(range(1000)).map(mod).take(10)

在本地,脚本运行良好,没有错误。当我换线的时候 conf.setMaster('local[*]')conf.setMaster('spark://remote_ip:7077') 我得到一个错误:
py4jjavaerror:调用none.org.apache.spark.api.java.javasparkcontext时出错:java.lang.illegalargumentexception:需求失败:只能在scala.predef$.require(predef)处运行的metricssystem上调用getservlethandlers。scala:281)
为什么会这样?我还补充道 SPARK_MASTER_HOST=remote_ip 以及 SPARK_MASTER_PORT=7077~/anaconda3/lib/python3.8/site-packages/pyspark/bin/load_spark_env.sh .
我的spark版本是 3.0.1 服务器是 3.0.0 我可以打电话 remote_ip .

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题