使用docker在mesos上运行spark客户端模式时出错

ig9co6j1  于 2021-06-26  发布在  Mesos
关注(0)|答案(0)|浏览(234)

我们有一个3节点的Mesos星团。已使用以下命令在计算机1上启动主服务:
sudo./bin/mesos-master.sh--ip=machine1 ip--work\u dir=/home/mapr/mesos/mesos-1.7.0/build/workdir--zk=zk://machine1 ip:2181/mesos--quorum=1
使用以下命令在其他2台计算机上创建和代理服务:
sudo./bin/mesos-agent.sh--containerizers=docker--master=zk://machine1 ip:2181/mesos--work\u dir=/home/mapr/mesos/mesos-1.7.0/build/workdir--ip=machine2 ip--no-systemd\u enable\u支持
sudo./bin/mesos-agent.sh--containerizers=docker--master=zk://machine1 ip:2181/mesos--work\u dir=/home/mapr/mesos/mesos-1.7.0/build/workdir--ip=machine3 ip--no-systemd\u enable\u支持
在machine1中设置了以下属性:
export mesos\u native\u java\u library=/usr/local/lib/libmesos.so
我们正在尝试使用docker映像运行spark作业。请注意,我们没有在machine1中设置“spark\u executor\u uri”,因为据我们所知,executor将在docker容器中运行,而不是在从机上运行,因此不需要此属性。
用于spark submit的命令如下(来自机器1):
/home/mapr/newspark/spark-2.4.0-bin-hadoop2.7/bin/spark-submit--mastermesos://machine1:5050 --部署模式客户端--类com.learning.spark.wordcount --conf spark.mesos.executor.docker.image=mesosphere/spark:2.4.0-2.2.1-3-hadoop-2.7 /home/mapr/mesos/wordcount.jarhdfs://machine2:8020/hdfslocation/input.txthdfs://machine2:8020/HDF定位/输出
spark submit上出现以下错误:
mesos任务日志:
i1211 20:27:55.040856 5996执行。cpp:162]版本:1.7.0 i1211 20:27:55.064775 6016执行。cpp:236]执行人登记在代理人44c2e848-cd06-4546-b0e9-15537084df1b-s1 i1211 20:27:55.068828 6018执行人。cpp:130]注册docker executor on company-i0058.company.co.in i1211 20:27:55.069756 6016 executor。cpp:186]开始任务3/bin/sh:1:/home/mapr/newspark/spark-2.4.0-bin-hadoop2.7//bin/spark类:找不到i1211 20:27:57.669881 6017 executor。cpp:736]容器退出,状态为127 i1211 20:27:58.672829 6019进程。cpp:926]停止了套接字接受循环
终端上的消息:
2018-12-11 20:27:49信息sparkcontext:54 - running spark版本2.4.0 2018-12-11 20:27:49信息sparkcontext:54 - 提交申请:wordcount 2018-12-11 20:27:49 info securitymanager:54 - 将视图ACL更改为:mapr 2018-12-11 20:27:49 info securitymanager:54 - 将修改ACL更改为:mapr 2018-12-11 20:27:49 info securitymanager:54 - 将视图acls组更改为:2018-12-11 20:27:49 info securitymanager:54 - 将修改acls组更改为:2018-12-11 20:27:49 info securitymanager:54 - securitymanager:已禁用身份验证;禁用ui ACL;具有查看权限的用户:set(mapr);具有查看权限的组:set();具有修改权限的用户:set(mapr);具有修改权限的组:set()2018-12-11 20:27:49信息utils:54 - 已在端口48069上成功启动服务“sparkdriver”。2018-12-11 20:27:49信息sparkenv:54 - 注册mapoutputtracker 2018-12-11 20:27:49信息sparkenv:54 - 注册blockmanagermaster 2018-12-11 20:27:49信息blockmanagermasterrendpoint:54 - 使用org.apache.spark.storage.defaulttopologymapper获取拓扑信息2018-12-11 20:27:49 info blockmanagermasterendpoint:54 - blockmanagermasterendpoint up 2018-12-11 20:27:49信息磁盘blockmanager:54 - 已在/tmp/blockmgr-3a4afff7-b050-45ba-bb50-c9f4ec5cc031 2018-12-11 20:27:49 info me创建本地目录morystore:54 - memorystore启动时容量为36630 mb 2018-12-11 20:27:49信息sparkenv:54 - 注册outputcommitcoordinator 2018-12-11 20:27:49信息log:192 - 日志初始化@3157ms 2018-12-11 20:27:50信息server:351 - jetty-9.3.z-snapshot,构建时间戳:未知,git哈希:未知2018-12-11 20:27:50信息server:419 - 开始于@3273ms 2018-12-11 20:27:50信息摘要connector:278 - 起动serverconnector@1cfd1875{http/1.1,[http/1.1]}{0.0.0.0:4040}2018-12-11 20:27:50信息utils:54 - 已成功启动端口4040上的服务“sparkui”。2018-12-11 20:27:50信息内容xthandler:781 - 开始o.s.j.s。servletcontexthandler@6f0628de{/jobs,null,available,@spark}2018-12-11 20:27:50信息内容xthandler:781 - 开始o.s.j.s。servletcontexthandler@2b27cc70{/jobs/json,null,可用,@spark}2018-12-11 20:27:50信息内容xthandler:781 - 开始o.s.j.s。servletcontexthandler@6f6a7463{/工作/job,null,available,@spark}2018-12-11 20:27:50信息内容xthandler:781 - 开始o.s.j.s。servletcontexthandler@79f227a9{/jobs/job/json,null,可用,@spark}2018-12-11 20:27:50信息内容xthandler:781 - 开始o.s.j.s。servletcontexthandler@6ca320ab{/stages,null,available,@spark}2018-12-11 20:27:50信息内容xthandler:781 - 开始o.s.j.s。servletcontexthandler@50d68830{/stages/json,null,可用,@spark}2018-12-11 20:27:50信息内容xthandler:781 - 开始o.s.j.s。servletcontexthandler@1e53135d{/阶段/stage,null,available,@spark}2018-12-11 20:27:50信息内容xthandler:781 - 开始o.s.j.s。servletcontexthandler@6754ef00{/stages/stage/json,null,可用,@spark}2018-12-11 20:27:50信息内容xthandler:781 - 开始o.s.j.s。servletcontexthandler@619bd14c{/阶段/pool,null,available,@spark}2018-12-11 20:27:50信息内容xthandler:781 - 开始o.s.j.s。servletcontexthandler@323e8306{/stages/pool/json,null,可用,@spark}2018-12-11 20:27:50信息内容xthandler:781 - 开始o.s.j.s。servletcontexthandler@a23a01d{/storage,null,available,@spark}2018-12-11 20:27:50信息内容xthandler:781 - 开始o.s.j.s。servletcontexthandler@4acf72b6{/storage/json,null,可用,@spark}2018-12-11 20:27:50信息内容xthandler:781 - 开始o.s.j.s。servletcontexthandler@7561db12储存/rdd,null,available,@spark}2018-12-11 20:27:50信息内容xthandler:781 - 开始o.s.j.s。servletcontexthandler@3301500b{/storage/rdd/json,null,可用,@spark}2018-12-11 20:27:50信息内容xthandler:781 - 开始o.s.j.s。servletcontexthandler@24b52d3e{/environment,null,available,@spark}2018-12-11 20:27:50信息内容xthandler:781 - 开始o.s.j.s。servletcontexthandler@15deb1dc{/environment/json,null,可用,@spark}2018-12-11 20:27:50信息内容xthandler:781 - 开始o.s.j.s。servletcontexthandler@6e9c413e{/executors,null,available,@spark}2018-12-11 20:27:50信息内容xthandler:781 - 开始o.s.j.s。servletcontexthandler@57a4d5ee{/executors/json,null,可用,@spark}2018-12-11 20:27:50信息内容xthandler:781 - 开始o.s.j.s。servletcontexthandler@5af5def9执行人/threaddump,null,available,@spark}2018-12-11 20:27:50信息内容xthandler:781 - 开始o.s.j.s。servletcontexthandler@3a45c42a{/executors/threaddump/json,null,可用,@spark}2018-12-11 20:27:50信息内容xthandler:781 - 开始o.s.j.s。servletcontexthandler@36dce7ed{/static,null,available,@spark}2018-12-11 20:27:50信息内容xthandler:781 - 开始o.s.j.s。servletcontexthandler@4b770e40{/,null,available,@spark}2018-12-11 20:27:50信息内容xthandler:781 - 开始o.s.j.s。servletcontexthandler@78e16155{/api,null,available,@spark}2018-12-11 20:27:50信息内容xthandler:781 - 开始o.s.j.s。servletcontexthandler@19868320工作/kill,null,available,@spark}2018-12-11 20:27:50信息内容xthandler:781 - 开始o.s.j.s。servletcontexthandler@50b0bc4c{/stages/stage/kill,null,可用,@spark}2018-12-11 20:27:50信息sparkui:54 - 将sparkui绑定到0.0.0.0,开始于http://machine1:4040 2018-12-11 20:27:50信息中心rkcontext:54 - 添加了jar文件:/home/mapr/mesos/wordcount.jarspark://machine1:48069/jars/wordcount.jar,时间戳1544540270193 i1211 20:27:50.557170 7462 sched。cpp:232]版本:1.7.0 i1211 20:27:50.560644 7454计划。cpp:336]在检测到新主机master@machine1:5050 i121120:27:50.561132 7454计划。cpp:356]未提供凭据。尝试在没有身份验证的情况下注册i1211 20:27:50.571651 7456 sched。cpp:744]框架注册号:5260e4c8-de1c-4772-b5a7-340480594ef4-0000 2018-12-11 20:27:50信息utils:54 - 已在端口56351上成功启动服务“org.apache.spark.network.netty.nettyblocktransferservice”。2018-12-11 20:27:50信息nettyblocktransferservice:54 - 在计算机上创建的服务器1:56351 2018-12-11 20:27:50 info blockmanager:54 - 将org.apache.spark.storage.randomblockreplicationpolicy用于块复制策略2018-12-11 20:27:50 info blockmanagermaster:54 - 正在注册blockmanager blockmanagerid(驱动程序,populture-i0053.populture.co.in,56351,无)2018-12-11 20:27:50信息BlockManagerMasterrendpoint:54 - 正在用366.3 mb ram注册块管理器计算机1:56351,blockmanagerid(driver,populture-i0053.populture.co.in,56351,none)2018-12-11 20:27:50 info blockmanagermaster:54 - 已注册blockmanager blockmanagerid(驱动程序,计算机1,56351,无)2018-12-11 20:27:50信息blockmanager:54 - 初始化blockmanager:blockmanagerid(驱动程序,机器1,56351,无)2018-12-11 20:27:50信息内容xthandler:781 - 开始o.s.j.s。servletcontexthandler@73ba6fe6{/metrics/json,null,可用,@spark}2018-12-11 20:27:50信息Mesos计划erbackend:54 - schedulerbackend在到达minregisteredresourcesratio:0.0 2018-12-11 20:27:51 info mesoscoarsegrainedSchedule后就可以开始计划了erbackend:54 - mesos任务0现在是任务0,开始于2018-12-11 20:27:51信息mesoscoarsegrainedschedulerbackend:54 - mesos任务1现在任务开始于2018-12-11 20:27:51信息我morystore:54 - 块广播\u 0存储为内存中的值(估计大小288.1 kb,可用空间366.0 mb)2018-12-11 20:27:51 info memorystore:54 - 块广播\u 0 \u piece0以字节形式存储在内存中(估计大小为25.1 kb,免费366.0 mb)2018-12-11 20:27:51信息块nagerinfo:54 - 在计算机1:56351(大小:25.1 kb)的内存中添加了广播\u 0 \u片段0,免费:366.3 mb)2018-12-11 20:27:51信息sparkcontext:54 - 已从wordcount处的textfile创建广播0。scala:22 2018-12-11 20:27:52警告nativecodeloader:62 - 无法为您的平台加载本机hadoop库。。。在适用的情况下使用内置java类2018-12-11 20:27:52 info fileinputformat:249 - 要处理的总输入路径:1 2018-12-11 20:27:53 info deprecation:1173 - mapred.output.dir已弃用。相反,请使用mapreduce.output.fileoutputformat.outputdir 2018-12-11 20:27:53 info hadoopmapredco

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题