我试着从 anaconda
文件:
from pyspark import SparkConf
from pyspark import SparkContext
import findspark
findspark.init('/home/Snow/anaconda3/lib/python3.8/site-packages/pyspark')
conf = SparkConf()
conf.setMaster('local[*]')
conf.setAppName('spark')
sc = SparkContext(conf=conf)
def mod(x):
import numpy as np
return (x, np.mod(x, 2))
rdd = sc.parallelize(range(1000)).map(mod).take(10)
在本地,脚本运行良好,没有错误。当我换线的时候 conf.setMaster('local[*]')
至 conf.setMaster('spark://remote_ip:7077')
我得到一个错误:
py4jjavaerror:调用none.org.apache.spark.api.java.javasparkcontext时出错:java.lang.illegalargumentexception:需求失败:只能在scala.predef$.require(predef)处运行的metricssystem上调用getservlethandlers。scala:281)
为什么会这样?我还补充道 SPARK_MASTER_HOST=remote_ip
以及 SPARK_MASTER_PORT=7077
至 ~/anaconda3/lib/python3.8/site-packages/pyspark/bin/load_spark_env.sh
.
我的spark版本是 3.0.1
服务器是 3.0.0
我可以打电话 remote_ip
.
暂无答案!
目前还没有任何答案,快来回答吧!