使用java驱动程序向mesos集群提交spark作业

camsedfj  于 2021-06-21  发布在  Mesos
关注(0)|答案(0)|浏览(242)

我正在尝试通过一个java驱动程序向mesos集群提交spark作业。没有防火墙处于活动状态,mesos控制台显示8gb ram可用,3个内核可用。但是我得到“检查集群ui以查看是否有足够的资源可用”
这是密码

SparkConf conf = new SparkConf();
           conf.setMaster(mesosmasterstring);

            conf.setAppName("demotask1");
            conf.setJars(scalaJarList);
            Properties sparkProps = FileLoader
                    .load(EnvironmentConstants.SPARK_PROPS_FILE_PATH);

            Set<Object> propNames = (sparkProps.keySet());
            for (Object kobj : propNames) {
                conf.set(kobj.toString().trim(),
                        sparkProps.getProperty(kobj.toString()).trim());

            }

//I have set the following via the code above:
//spark.executor.uri=https://s3-us-west-2.amazonaws.com/minimo-dev2/spark/spark-//1.3.1-bin-hadoop2.4.tgz 

        SparkContext sc = new SparkContext(conf);
        JavaSparkContext javaSparkContext = new JavaSparkContext(sc);

运行驱动程序进程的Web服务器日志
2015-08-20 15:56:04981警告[taskschedulerimpl]-初始作业未接受任何资源;检查集群ui以确保worker已注册并且具有足够的资源
2015-08-20 15:56:05974调试[taskschedulerimpl]-父名称:,名称:taskset\u 0,运行任务:0
2015-08-20 15:56:06975调试[taskschedulerimpl]-父名称:,名称:taskset\u 0,运行任务:0
2015-08-20 15:56:07975调试[taskschedulerimpl]-父名称:,名称:taskset\u 0,运行任务:0
2015-08-20 15:56:11979调试[taskschedulerimpl]-父名称:,名称:taskset\u 0,运行任务:0
2015-08-20 15:56:12979调试[taskschedulerimpl]-父名称:,名称:taskset\u 0,运行任务:0 2015-08-20 15:56:15692调试[blockmanagermasteractor]-[actor]收到来自actor的消息expiredeadhosts[akka://sparkdriver/user/blockmanagermaster#1596206704]
2015-08-20 15:56:15693调试[blockmanagermasteractor]-[actor]处理的消息(0.036696毫秒)来自actor的过期附件[akka://sparkdriver/user/blockmanagermaster#1596206704]
2015-08-20 15:56:17982调试[taskschedulerimpl]-父名称:,名称:taskset\u 0,运行任务:0
2015-08-20 15:56:18983调试[taskschedulerimpl]-父名称:,名称:taskset\u 0,运行任务:0
2015-08-20 15:56:19981警告[taskschedulerimpl]-初始作业未接受任何资源;检查集群ui以确保worker已注册并且具有足够的资源
mesos主机.ip
i0820 15:56:10.687042 32074主机。cpp:4290]向framework 20150820-152021-1496194988-5050-32040-0000(demotask1)发送1个报价scheduler-62a62438-bb19-4740-8428-7d632c958ef8@driverhost:33527
i0820 15:56:10.689906 32074主机。cpp:2884]正在处理针对框架20150820-152021-1496194988-5050-32040-o934(demotask1)的谢绝询价:[20150820-152021-1496194988-5050-32040-0000]scheduler-62a62438-bb19-4740-8428-7d632c958ef8@driverhost:33527
i0820 15:56:10.690024 32074分级。hpp:761]恢复的CPU():1;mem():2735;disk():4031;端口():[31000-32000](总计:CPU():1;mem():2735;disk():4031;端口():[31000-32000],分配:)从机20150817-195212-2955812780-5050-29267-s0上,来自框架20150820-152021-1496194988-5050-32040-0000 i0820 15:56:11.688359 32075主机。cpp:4290]向framework 20150820-152021-1496194988-5050-32040-0000(demotask1)发送1个报价scheduler-62a62438-bb19-4740-8428-7d632c958ef8@driverhost:33527
i0820 15:56:11.690852 32075主机。cpp:2884]正在处理框架20150820-152021-1496194988-5050-32040-o935(demotask1)的谢绝询价:[20150820-152021-1496194988-5050-32040-0000]scheduler-62a62438-bb19-4740-8428-7d632c958ef8@driverhost:33527
i0820 15:56:11.690968 32075分级。hpp:761]恢复的CPU():1;mem():2735;disk():4031;端口():[31000-32000](总计:CPU():1;mem():2735;disk():4031;端口():[31000-32000],分配:)从机20150817-195212-2955812780-5050-29267-s1上,来自框架20150820-152021-1496194988-5050-32040-0000 i0820 15:56:13.690409 32077主机。cpp:4290]向framework 20150820-152021-1496194988-5050-32040-0000(demotask1)发送1个报价scheduler-62a62438-bb19-4740-8428-7d632c958ef8@driverhost:33527
i0820 15:56:13.692711 32077船长。cpp:2884]正在处理框架20150820-152021-1496194988-5050-32040-o936(demotask1)的拒绝询价:[20150820-152021-1496194988-5050-32040-0000]scheduler-62a62438-bb19-4740-8428-7d632c958ef8@driverhost:33527
我0820 15:56:13.692827 32077。hpp:761]恢复的CPU():1;mem():2735;disk():4031;端口():[31000-32000](总计:CPU():1;mem():2735;disk():4031;端口():[31000-32000],分配:)从机20150817-195212-2955812780-5050-29267-s2上,来自框架20150820-152021-1496194988-5050-32040-0000 i0820 15:56:15.693084 32070主机。cpp:4290]向framework 20150820-152021-1496194988-5050-32040-0000(demotask1)发送1个报价scheduler-62a62438-bb19-4740-8428-7d632c958ef8@driverhost:33527
i0820 15:56:15.695425 32070主机。cpp:2884]正在处理框架20150820-152021-1496194988-5050-32040-o937(demotask1)的谢绝邀请函:[20150820-152021-1496194988-5050-32040-0000]scheduler-62a62438-bb19-4740-8428-7d632c958ef8@driverhost:33527
mesos从属.ip
i0820 15:56:00.962321 32133从机。cpp:4179]查询可超额订阅资源的资源估计器
i0820 15:56:00.962446 32133从机。cpp:4193]从资源估计器接收到超额订阅的资源
i0820 15:56:15.967767 32128从机。cpp:4179]查询可超额订阅资源的资源估计器
i0820 15:56:15.967869 32128从机。cpp:4193]从资源估计器i0820 15:56:30.331955 32132从接收到超额订阅的资源。cpp:3842]当前磁盘使用率为18.49%。最大允许年龄:5.005413813727211天i0820 15:56:30.969789 32132从机。cpp:4179]查询可超额订阅资源的资源估算器i0820 15:56:30.969914 32132 slave。cpp:4193]从资源估计器i0820 15:56:45.971680 32129从接收到超额订阅的资源。cpp:4179]查询资源估计器的超额订阅资源i0820 15:56:45.971807 32129从属。cpp:4193]从资源估计器i0820 15:57:00.972995 32134从接收到超额订阅的资源。cpp:4179]查询可超额订阅资源的资源估计器

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题