如何配置hive.connection()来传递hive所需的设置?

iezvtpos  于 2021-06-01  发布在  Hadoop
关注(0)|答案(1)|浏览(1033)

我在ubuntu 17.10上运行spyder 3.2.8。我想传递远程集群上的配置单元,以便使用 set hive.cli.print.header=true; 命令。
以下是我迄今为止所做的:

con = hive.Connection(host="name", 
                      port=some port, 
                      username="usr",
                      configuration='hive.cli.print.header = True')

设置配置的正确方法是什么,我甚至找不到一个工作示例。

ulydmbyx

ulydmbyx1#

你可以试试这样的
conn=hive.connection(host=“host”,port=“port”,username=“user”,password=“passwd”,auth=“ldap”,configuration={hive.auto.convert.join':'false','mapred.mappers.tasks':'25','mapred.job.shuffle.input.buffer.percent':'0.50','mapreduce.map.memory.mb':'12000','mapreduce.reduce.memory.mb':'12000','mapred.reduce.child.java.opts':'-xmx12000m','mapred.map.child.java.opts':'-xmx12000m','hive.exec.reducers.bytes.per.reducer':'104857600','hive.optimize.skewjoin':'true'})

相关问题