我需要比较qubole（hadoop数据）和edw数据之间的数据。因为我需要验证数以十亿计的数据，希望你们能给我提供任何工具或其他方法的建议，这样我可以更快更有效地比较这些数据。谢谢你们！非常感谢您的回复。谢谢，甘尼什
cbjzeqam1#
我也做过类似的比较。将非hadoop数据带到hadoop临时位置。编写一个简短的map reduce程序来读取这两个文件，将它们连接起来并进行逐列比较。如果有任何不同，请写出来。
1条答案
按热度按时间cbjzeqam1#
我也做过类似的比较。将非hadoop数据带到hadoop临时位置。编写一个简短的map reduce程序来读取这两个文件，将它们连接起来并进行逐列比较。如果有任何不同，请写出来。