“sqoop merge--merge key”和“sqoop--import--merge key”之间的区别

cnwbcb6i  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(272)

之间的差异 sqoop-merge --merge-key 以及 sqoop --import --merge-key 就是这样吗 sqoop-merge --merge-key 首先将增量数据保存到hdfs中,然后与旧数据合并,而 sqoop --import --merge-key 是否将加载新数据并直接将数据与旧数据合并?
如果我的旧数据太大,无法合并,那么更新旧数据的方法更好?
现在我的旧数据大约是40gb sqoop --import --merge-key 要更新数据,需要比直接加载所有数据更长的时间。有时会因为使用ram而导致mapreduce作业失败。那么,我能优化一下吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题