将2t数据从配置单元加载到本地服务器

iszxjhcz  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(179)

我通过hive数据库在hadoop集群中有2tb的数据,我会将这些数据带到本地服务器中,因此我使用hive通过使用beeline cli来执行此任务,如下所示:

use db1;

for i in (T1 T2 T3 ...)do

export table $1 to '/tmp/$i';

done

(注意:也许你在上面的查询中也注意到了相同的错误,这不是我要找的,这个语法和我用过的不一样,但它足够接近,对我很有用,所以不要在意这个查询)。
这个查询完成这个任务的速度非常慢,所以我想知道是否有其他解决方案,比如使用scoop或(hadoop fs-get/user/hive/warehouse/database.db)甚至hive来尽可能快地完成这个任务。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题