无法运行spark nlp,因为出现异常:java网关进程在发送其端口号之前退出

rta7y2nd  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(258)

我在ubuntuvm上通过jupyter安装了pyspark。
只有一个java版本( openjdk version "1.8.0_265" ),我可以像这样运行本地spark(v2.4.4)会话而不会出现问题:

import pyspark
from pyspark.sql import SparkSession

memory_gb = 24
conf = (
    pyspark.SparkConf()
        .setMaster('local[*]')
        .set('spark.driver.memory', '{}g'.format(memory_gb))
)

spark = SparkSession \
    .builder \
    .appName("My Name") \
    .config(conf=conf) \
    .getOrCreate()

现在我想用 spark-nlp . 我已经安装了 spark-nlp 使用 pip install spark-nlp 在我的Pypark所在的虚拟环境中。
然而,当我尝试使用它时,我得到了错误 Exception: Java gateway process exited before sending its port number .
我试着按照文档中的说明来做,但没有成功。
这么做

spark = SparkSession \
    .builder \
    .appName("RevDNS Stats") \
    .config(conf=conf) \
    .config("spark.jars.packages", "com.johnsnowlabs.nlp:spark-nlp_2.11:2.5.5")\
    .getOrCreate()

只会导致上述错误。
我该怎么解决这个问题?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题