1.1 join操作
INSERT OVERWRITE TABLE pv_users
SELECT pv.pageid, u.age FROM page_view pv JOIN user u ON (pv.userid = u.userid);
1.2 MR过程
Map
a. 以 JOIN ON 条件中的列作为 Key,如果有多个列,则 Key 是这些列的组合。
b. 以 JOIN 之后所关心的列作为 Value,当有多个列时,Value 是这些列的组合。
在 Value 中还会包含表的 Tag 信息,用于标明此 Value 对应于哪个表。
c. 按照 Key 进行排序。
Shuffle
根据 Key 的值进行 Hash,并将 Key/Value 对按照 Hash 值推至不同对 Reduce 中。
Reduce
Reduce根据 Key 值进行 Join 操作,并且通过 Tag 来识别不同的表中的数据。
1.3 MR过程图
2.1 group by操作
SELECT pageid, age, count(1) FROM pv_users GROUP BY pageid, age;
2.2 MR过程图
3.1 distinct操作
SELECT age, count(distinct pageid) FROM pv_users GROUP BY age;
3.2 MR过程图
版权说明 : 本文为转载文章, 版权归原作者所有 版权申明
原文链接 : https://volitation.blog.csdn.net/article/details/82627510
内容来源于网络,如有侵权,请联系作者删除!