hadoop—是否可以并行执行多个配置单元查询

bq9c1y66  于 2021-05-29  发布在  Hadoop
关注(0)|答案(2)|浏览(314)

我有一个脚本,它将读取和执行一个hql在一个时间,但我想执行多个hql在一个时间。请让我知道有任何方法可以这样做。

j13ufse2

j13ufse21#

如果你使用 hive -e 'some command' 可以使用bash&:

hive -e 'some command' &
hive -f someFile.hql &
etc..
eqoofvh9

eqoofvh92#

方法1(oozie):

运行所有hql的最简单和直接的方法之一是使用oozie。创建一个oozie作业,并行定义配置单元操作并提交作业。

方法2(外壳):

创建多个shell脚本,每个shell脚本都有一个 hive -e '<<query>>' 并与cron作业并行运行所有shell脚本(或者您也可以使用oozie来运行shell脚本)。
尽管方法2可行,但我还是推荐方法1,因为oozie是并行运行配置单元脚本的方法。

相关问题