我需要比较qubole(hadoop数据)和edw数据之间的数据。因为我需要验证数以十亿计的数据,希望你们能给我提供任何工具或其他方法的建议,这样我可以更快更有效地比较这些数据。谢谢你们!非常感谢您的回复。谢谢,甘尼什
cbjzeqam1#
我也做过类似的比较。将非hadoop数据带到hadoop临时位置。编写一个简短的map reduce程序来读取这两个文件,将它们连接起来并进行逐列比较。如果有任何不同,请写出来。
1条答案
按热度按时间cbjzeqam1#
我也做过类似的比较。将非hadoop数据带到hadoop临时位置。编写一个简短的map reduce程序来读取这两个文件,将它们连接起来并进行逐列比较。如果有任何不同,请写出来。