我有windows10,我按照这个指南安装spark并使它在我的操作系统上工作,只要使用jupyter笔记本工具。我使用此命令示例化主程序并导入作业所需的包: pyspark --packages graphframes:graphframes:0.8.1-spark3.0-s_2.12 --master local[2]
然而,后来,我发现没有根据前面提到的指南示例化任何worker,而且我的任务非常慢。因此,受此启发,由于docker运行Worker,因此无法找到任何其他方法将Worker连接到群集管理器,因此我尝试使用以下命令手动设置所有内容: bin\spark-class org.apache.spark.deploy.master.Master
主机被正确示例化,所以我继续下一个命令: bin\spark-class org.apache.spark.deploy.worker.Worker spark://<master_ip>:<port> --host <IP_ADDR>
返回以下错误:
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
21/04/01 14:14:21 INFO Master: Started daemon with process name: 8168@DESKTOP-A7EPMQG
21/04/01 14:14:21 ERROR SparkUncaughtExceptionHandler: Uncaught exception in thread Thread[main,5,main]
java.lang.ExceptionInInitializerError
at org.apache.spark.unsafe.array.ByteArrayMethods.<clinit>(ByteArrayMethods.java:54)
at org.apache.spark.internal.config.package$.<init>(package.scala:1006)
at org.apache.spark.internal.config.package$.<clinit>(package.scala)
at org.apache.spark.deploy.master.MasterArguments.<init>(MasterArguments.scala:57)
at org.apache.spark.deploy.master.Master$.main(Master.scala:1123)
at org.apache.spark.deploy.master.Master.main(Master.scala)
Caused by: java.lang.reflect.InaccessibleObjectException: Unable to make private java.nio.DirectByteBuffer(long,int) accessible: module java.base does not "opens java.nio" to unnamed module @60015ef5
at java.base/java.lang.reflect.AccessibleObject.checkCanSetAccessible(AccessibleObject.java:357)
at java.base/java.lang.reflect.AccessibleObject.checkCanSetAccessible(AccessibleObject.java:297)
at java.base/java.lang.reflect.Constructor.checkCanSetAccessible(Constructor.java:188)
at java.base/java.lang.reflect.Constructor.setAccessible(Constructor.java:181)
at org.apache.spark.unsafe.Platform.<clinit>(Platform.java:56)
... 6 more
从那一刻起,我以前运行的命令都不起作用了,它们返回了您可以看到的消息。我猜我弄乱了一些java的东西,但我不明白什么,在哪里,老实说。
我的java版本是:
java version "16" 2021-03-16
Java(TM) SE Runtime Environment (build 16+36-2231)
Java HotSpot(TM) 64-Bit Server VM (build 16+36-2231, mixed mode, sharing)
1条答案
按热度按时间tvokkenx1#
我刚才也遇到了同样的错误,问题似乎出在java版本上。
我安装了java,python,spark等所有最新版本!
遵循以下链接中提到的步骤。。
https://phoenixnap.com/kb/install-spark-on-windows-10
和你一样的错误!
已从oracle网站下载java se 8版本。。
https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html
已下载jdk-8u281-windows-x64.exe
重置java\u主页。
启动spark shell-完美开启问题。
仅供参考:我没有java或spark的经验,如果有人觉得有什么不对劲,请纠正我。只是它对我有效,所以在这里提供相同的解决方案……)
谢谢,卡伦