cassandra/hadoop循环尝试消息

rlcwz9us  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(368)

在pig中发出dump之后,我在控制台上看到以下消息。我之前已经从一个cassandra表中加载了数据,这个表有超过1500万条记录到一个pig关系中。
我正在运行一个5节点的hadoop集群,所有节点都显示如下相同的消息;
信息14:16:22225尝试\u 201310071219 \u 0003 \u m\u000001 \u 0 nan%信息14:16:25294尝试\u 201310071219 \u 0003 \u m\u000001 \u 0 nan%信息14:16:28366尝试\u 201310071219 \u 0003 \u m\u000001 \u 0 nan%信息14:16:31434尝试\u 201310071219 \u 0003 \u m\u000001 \u 0 nan%
有人能解释一下吗?
查看web浏览器中的作业详细信息,我可以看到map和reduce任务的数量设置为1。我的印象是,map和reduce任务是在5个节点上拆分的,而不是让一个节点来完成所有的工作?
更新:
我已经按照建议在一个hadoop节点(500万个项目)上运行了测试,并且在pig中发布dump之后仍然看到相同的消息。。。
信息15:55:15448 id为:jvm \u 201310141552 \u 0001 \u m \u-2064359790给定任务:尝试\u 201310141552 \u 0001 \u m \u 000002 \u 0信息15:55:20395尝试\u 201310141552 \u 0001 \u 000002 \u 0.0%设置信息15:55:20397任务尝试\u 201310141552 \u 0001 \u 000002 \u 0完成。信息15:55:20398已报告尝试的输出大小\u 201310141552 \u 0001 \u m\u000002 \u 0为-1信息15:55:20398 addfreeslot:当前可用插槽:1信息15:55:21021任务“尝试\u 201310141552 \u 0001 \u m\u000002 \u 0”已成功完成任务\u 201310141552 \u 0001 \u m\u000002。信息15:55:21031为tracker'tracker\u cassent.eveng.local:/10添加任务(Map)“attempt\u 201310141552\u 0001\u m\u000000\u 0”以提示任务\u 201310141552\u 0001\u m\u000000。xx:46522'信息15:55:21033选择数据本地任务任务\u 201310141552 \u 0001 \u m\u000000信息15:55:21,035 launchtaskaction(registertask):尝试\u 201310141552 \u 0001 \u m \u0000000任务state:unassigned info 15:55:21035正在尝试启动:在tasklauncher中尝试\u 201310141552 \u 0001 \u m\u0000000需要1个插槽信息15:55:21035接收到任务的killtaskaction:在tasklauncher中尝试\u 201310141552 \u 0001 \u m\u000002 \u 0信息15:55:21036,当前可用插槽:1,正在尝试启动需要1个插槽信息的尝试\u 201310141552\u 0001\u m\u000000\u 0 15:55:21036关于清除任务:尝试\u 201310141552\u 0001\u m\u000002\u 0信息15:55:21037Mapid尝试\u 201310141552\u 0001\u m\u000002\u 0在缓存信息15:55:21中找不到,050没有为jobid/taskid:job\u 201310141552\u 0001/attempt\u 201310141552\u 0001\u m\u0000000生成新的jvm。尝试重用:jvm \u 201310141552 \u 0001 \u m \u-2064359790 info 15:55:21421 id为jvm \u 201310141552 \u 0001 \u m \u-2064359790的jvm给定任务:attempt \u 201310141552 \u 0001 \u m \u000000 \u 0 info 15:55:24865 parnew的gc:216 ms用于1个集合,使用89930816;最大值为3200253952信息15:55:27708尝试\u 201310141552 \u 0001 \u m\u000000 \u 0 nan%信息15:55:30759尝试\u 201310141552 \u 0001 \u m\u000000 \u 0 nan%信息15:55:33801尝试\u 201310141552 \u 0001 \u 000000 \u 0 nan%信息15:55:36860尝试\u 201310141552 \u 0001 \u m\u000000 \u 0 nan%信息15:55:39940尝试\u 201310141552 \u 0001 \u 000000 \u 0 nan%信息15:55:42,989尝试\u 201310141552 \u 0001 \u m\u000000 \u 0 nan%信息15:55:46043尝试\u 201310141552 \u 0001 \u m\u000000 \u 0 nan%信息15:55:49836尝试\u 201310141552 \u 0001 \u m\u000000 \u 0 nan%信息15:55:52874尝试\u 201310141552 \u 0001 \u m\u000000 \u 0 nan%信息15:55:55913尝试\u 201310141552 \u 0001 \u m\u000000 \u 0 nan%信息15:55:58,958尝试\u 201310141552 \u 0001 \u m\u000000 \u 0 nan%信息15:56:02068尝试\u 201310141552 \u 0001 \u m\u000000 \u 0 nan%信息15:56:05128尝试\u 201310141552 \u 0001 \u m\u000000 \u 0 nan%信息15:56:08184尝试\u 201310141552 \u 0001 \u m\u000000 \u 0 nan%信息15:56:11243尝试\u 201310141552 \u 0001 \u m\u000000 \u 0 nan%
为什么会这样?
谢谢,少校

nbysray5

nbysray51#

您的群集设置似乎有问题。你能公布你的戒指信息吗?你能先在一个节点上测试它,然后转移到多个节点上测试吗。

相关问题