hive-f每次都在创建新的会话

voj3qocg  于 2021-06-26  发布在  Hive
关注(0)|答案(1)|浏览(513)

我有一个用shell编写的框架,它调用多个hql文件。
配置单元-f文件1.hql
配置单元-f文件2.hql
配置单元-f文件3.hql
每个hive-f命令都会创建新的会话并花费大量时间来执行该命令。很多时候,这些文件中的实际查询会快速运行,但大部分时间用于创建新会话。
deoe配置单元是否支持会话轮询/或任何其他机制在hql文件中创建一次会话,并在所有其他配置单元f调用期间重用它?

j2datikz

j2datikz1#

我知道这是不可能的。您最多可以考虑将hql文件合并到一个批处理文件中。作为替代和推荐的方法,您可以考虑切换到hiveserver2服务,例如使用https://github.com/cloudera/impyla 在python中。

相关问题