spark作业使用local[*]成功运行,但在独立模式下使用docker image-bitnami/spark时失败

qvtsj1bj  于 2021-07-09  发布在  Java
关注(0)|答案(0)|浏览(268)

我正在尝试运行spark流文档中提到的简单字数计算示例。当我使用独立模式-conf.setmaster(“”)时,当我放置conf.setmaster(“local[*]”)时,java应用程序运行并给出输出spark://localhost:7077“)-作业作为一个长期运行/永无止境的阶段被卡住。
我可以在java应用程序中看到的日志:
使用spark的默认log4j配置文件:org/apache/spark/log4j-defaults.properties 21/04/20 19:37:36警告nativecodeloader:无法为您的平台加载本机hadoop库。。。在适用的情况下使用内置java类21/04/20 19:37:39 warn kafkautils:重写enable.auto.commit to false for executor 21/04/20 19:37:39 warn kafkautils:重写auto.offset.reset to none for executor 21/04/20 19:37:39 warn kafkautils:重写executor group.id以触发executor spark stream 21/04/20 19:37:39 warn kafkautils:将receive.buffer.bytes重写为65536请参阅kafka-3135 21/04/20 19:37:40 warn sizeestimator:未能检查是否设置了usecompressedoops;假设是21/04/20 19:37:49 warn procfsmetricsgetter:尝试计算页面大小时出现异常,因此停止了processtree度量报告21/04/20 19:37:55 warn taskschedulerimpl:初始作业未接受任何资源;检查您的群集ui以确保Worker已注册并且有足够的资源21/04/20 19:38:10警告taskschedulerimpl:初始作业未接受任何资源;检查集群ui以确保worker已注册并且具有足够的资源

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题