解释级联点图

tf7tbtn2  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(264)

有人能解释一下怎么看这些图表吗?我理解从头到尾的流程,但我特别想知道如何读取椭圆(管道/水龙头)之间的字段(括号)转换。
通过使用图像中每个管道后面的字段的示例,我能够解释这些字段的方式是第一个字段集,即,[{2}:'token','count']是进入下一个管道/抽头的内容,但是第二个字段集[{1}:'token']的意义是什么?
这是进入上一个管道的字段集吗?第二个括号是否具有编程意义,即我们是否能够使用特定的级联代码在该管道中访问它(如果第二个字段集大于第一个字段集)

(来源:cascading.org)

rseugnpd

rseugnpd1#

第二个字段集表示哪些字段可用于该Map或reduce中的后续操作。
在上面的示例中,在reduce步骤中,由于您按“token”分组,因此只有“token”可用于该reduce步骤中的后续聚合(every)。例如,您可以添加另一个输出平均令牌长度的聚合,但不能使用使用“count”的聚合。
这种行为的原因是同一组上的后续聚合并行发生。因此,计数将不会完成,无法输入到链接的任何其他聚合中。

相关问题