我有一个脚本,它使用pyhive和sqlalchemy在hive集群上执行一些etl。我工作的一部分是这样的:
hivecon = hive_engine.raw_connection()
hivecur = hivecon.cursor()
...
hivecur.execute(""" <some query> """)
hivecur.execute(""" set hive.tez.container.size=5120 """)
hivecur.execute(""" <some other query> """)
我的上一个查询失败了,通过查看日志,我确定容器大小从未正确设置。有没有更好的方法来动态更改会话变量?
1条答案
按热度按时间irtuqstp1#
看来正确的方法是
connect_args
:在此处找到:
有一个对应的
configuration
db api连接的指令。