如果在pycharm中使用pyspark,是否需要下载apachespark?

bq9c1y66  于 2021-07-13  发布在  Spark
关注(0)|答案(0)|浏览(205)

我是pyspark和spark nlp的新手,在anaconda env中尝试在pycharm中运行python脚本时遇到了很多问题,我碰巧看到了以下页面:https://github.com/johnsnowlabs/spark-nlp/discussions/1022
它有一些关于如何在windows 10上正确安装spark nlp的步骤,我不确定是否需要遵循这些步骤:
第二步,假设我们在本地安装了hadoop Download winutils and put it in C:\hadoop\bin ,但我没有文件夹名“hadoop”,需要下载吗?
第四步: Download Apache Spark 2.4.6 and extract it in C:\spark\ 我已经从conda/pip安装了pyspark2.4.4和sparknlp2.4.4,我还需要下载apachespark吗??
我现在很困惑,因为在看到这篇文章之前,我在pycharm中遇到一个错误py4j.protocol.py4jjavaerror:调用o314.load时出错:java.lang.classnotfoundexception:com.johnsnowlabs.nlp.`in pycharm(请参阅这个问题:java.lang.classnotfoundexception:com.johnsnowlabs.nlp.documentassembler spark in pycharm with conda env),我想知道现在该怎么做…有人能帮我吗请告诉我,谢谢。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题