之间的差异 sqoop-merge --merge-key
以及 sqoop --import --merge-key
就是这样吗 sqoop-merge --merge-key
首先将增量数据保存到hdfs中,然后与旧数据合并,而 sqoop --import --merge-key
是否将加载新数据并直接将数据与旧数据合并?
如果我的旧数据太大,无法合并,那么更新旧数据的方法更好?
现在我的旧数据大约是40gb sqoop --import --merge-key
要更新数据,需要比直接加载所有数据更长的时间。有时会因为使用ram而导致mapreduce作业失败。那么,我能优化一下吗?
暂无答案!
目前还没有任何答案,快来回答吧!