尝试使用spark作为执行引擎时,出现以下错误:
ERROR ClientEndpoint: Exception from cluster was: java.nio.file.NoSuchFileException: /home/hduser/hive/lib/hive-exec-2.3.2.jar
我在控制台输出上看到的错误如下:
client.SparkClientImpl: Running client driver with argv: /home/hduser/spark/bin/spark-submit --properties-file /tmp/spark-submit.9121550317102424797.properties --class org.apache.hive.spark.client.RemoteDriver /home/hduser/hive/lib/hive-exec-2.3.2.jar --remote-host HADOOP-RESMANAGER --remote-port 41533 --conf hive.spark.client.connect.timeout=1000 --conf hive.spark.client.server.connect.timeout=90000 --conf hive.spark.client.channel.log.level=null --conf hive.spark.client.rpc.max.size=52428800 --conf hive.spark.client.rpc.threads=8 --conf hive.spark.client.secret.bits=256 --conf hive.spark.client.rpc.server.address=null
我有一个spark独立集群,有两个节点。我必须在每个节点上安装配置单元吗?
当我运行hive命令时,文件/home/hduser/hive/lib/hive-exec-2.3.2.jar在hive机器上,但在每个集群节点上都没有。
我做错了什么?
谢谢
1条答案
按热度按时间e37o9pze1#
刚刚试过,不用在每个节点上安装hive客户端,安装在主节点所在的节点上