使用sqlalchemy设置配置属性的正确方法?

sirbozc5  于 2021-06-26  发布在  Hive
关注(0)|答案(1)|浏览(286)

我有一个脚本,它使用pyhive和sqlalchemy在hive集群上执行一些etl。我工作的一部分是这样的:

hivecon = hive_engine.raw_connection()
hivecur = hivecon.cursor()

...

hivecur.execute(""" <some query> """)
hivecur.execute(""" set hive.tez.container.size=5120 """)
hivecur.execute(""" <some other query> """)

我的上一个查询失败了,通过查看日志,我确定容器大小从未正确设置。有没有更好的方法来动态更改会话变量?

irtuqstp

irtuqstp1#

看来正确的方法是 connect_args :
在此处找到:

create_engine(
    'hive://user@host:10000/database',
    connect_args={'configuration': {'hive.exec.reducers.max': '123'}},
)

有一个对应的 configuration db api连接的指令。

相关问题