使用sqlalchemy设置配置属性的正确方法？

sirbozc5 于 2021-06-26 发布在 Hive

关注(0)|答案(1)|浏览(294)

我有一个脚本，它使用pyhive和sqlalchemy在hive集群上执行一些etl。我工作的一部分是这样的：

hivecon = hive_engine.raw_connection()
hivecur = hivecon.cursor()

...

hivecur.execute(""" <some query> """)
hivecur.execute(""" set hive.tez.container.size=5120 """)
hivecur.execute(""" <some other query> """)

我的上一个查询失败了，通过查看日志，我确定容器大小从未正确设置。有没有更好的方法来动态更改会话变量？

Hive python sqlalchemy

来源：https://stackoverflow.com/questions/45592611/correct-way-to-set-configuration-properties-with-sqlalchemy

1条答案

按热度按时间

irtuqstp1#

看来正确的方法是 connect_args :
在此处找到：

create_engine(
    'hive://user@host:10000/database',
    connect_args={'configuration': {'hive.exec.reducers.max': '123'}},
)

有一个对应的 configuration db api连接的指令。

赞(0）回复(0）举报 2021-06-26

我来回答

使用sqlalchemy设置配置属性的正确方法？

1条答案

相关问题

热门标签

最新问答