无法让这个hadoop/层叠代码毫无例外地运行吗?两者都是新事物

xxslljrj  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(258)

有人能解释一下为什么我试图在本地文件系统上运行作业时,这段代码会引发异常吗?我是hadoop/cascading的新手,正在尝试每行获取多个列,并计算这些列中值的频率(不区分它们来自哪个列键)
我不知所措。如果有人能向我解释我的思维过程是怎么走错的,我将不胜感激。我更关心的是学习技术和它的库,而不是生成工作代码。
以下是源代码:http://pastebin.com/ustuj5da
以下是堆栈跟踪:
slf4j:未能加载类“org.slf4j.impl.staticloggerbinder”。slf4j:默认为无操作(nop)记录器实现slf4j:请参阅http://www.slf4j.org/codes.html#staticloggerbinder 更多细节。线程“main”cascading.flow.planner.plannerexception中的pipe0+pipe1+pipe2+pipe3+pipe4+pipe5+pipe6异常:无法从程序集生成流:[[pipe0+pipe1+pipe2+pipe…][com.wellcentive.dq1a.main(dq1a)。java:51)]合并流必须以相同的顺序声明相同的字段名,应为:[{7}:'proc\u num','dx 1','dx 3','dx 4','dx 5','dx 6','codes']找到:[{7}:'proc\u num','dx 2','dx 3','dx 4','dx 5','dx 6',在cascading.flow.planner.flowplanner.handleexceptionduringplanning(flowplanner。java:576)在cascading.flow.hadoop.planner.hadoopplanner.buildflow(hadoopplanner。java:263)在cascading.flow.hadoop.planner.hadoopplanner.buildflow(hadoopplanner。java:80)在cascading.flow.flowconnector.connect(flowconnector。java:459)在级联.flow.flowconnector.connect(flowconnector。java:450)在cascading.flow.flowconnector.connect(flowconnector。java:426)在cascading.flow.flowconnector.connect(flowconnector。java:275)在cascading.flow.flowconnector.connect(flowconnector。java:257)网址:com.wellcentive.dq1a.main(dq1a。java:68)原因:cascading.pipe.operator异常:[管道0+管道1+管道2+管道…][com.wellcentive.dq1a.main(dq1a。java:51)]合并流必须以相同的顺序声明相同的字段名,应为:[{7}:'proc\u num','dx 1','dx 3','dx 4','dx 5','dx 6','codes'],找到:[{7}:'proc\u num','dx 2','dx 3','dx 4','dx 5','dx 6',cascading.pipe.splice.resolvedeclared(splice。java:1276)在cascading.pipe.splice.outgoingscopefor(splice。java:992)在cascading.flow.planner.elementgraph.resolvefields(elementgraph。java:628)在cascading.flow.planner.elementgraph.resolvefields(elementgraph。java:610)在层叠.flow.hadoop.planner.hadoopplanner.buildflow(hadoopplanner。java:248) ... 7个以上

tzcvj98z

tzcvj98z1#

在级联中,当您处理合并时,
您应该有相同的字段名
这里的冲突是一个表中的d1和另一个表中的d2,请将它们更改为相同的字段名。

相关问题