在hivewarehousesession中增加容器大小和应用程序主内存

epggiuax 于 2021-05-27 发布在 Spark

关注(0)|答案(1)|浏览(483)

我们可以通过spark中的hivewarehousesession增加tez容器大小和应用程序主内存吗。
properties:-
tez.am.resource.memory.mb hive.tez.container.size 样本代码

from pyspark_llap import HiveWarehouseSession
hive = HiveWarehouseSession.session(spark).build()
hive.setDatabase("sample_db")
hive.executeQuery("select abc from sample")

Hive apache-spark pyspark apache-spark-sql hiveql

来源：https://stackoverflow.com/questions/61797034/increase-container-size-and-application-master-memory-in-hivewarehousesession

1条答案

按热度按时间

inkz8wg91#

是的，你能做到，下面是如何在spark中做到，

from pyspark_llap import HiveWarehouseSession
hive = HiveWarehouseSession.session(spark).build()
hive.setDatabase("sample_db")
hive.executeQuery("SET tez.am.resource.memory.mb=1024")
hive.executeQuery("SET hive.tez.container.size=3072")
hive.executeQuery("SELECT abc FROM sample")

赞(0）回复(0）举报 2021-05-27

我来回答

在hivewarehousesession中增加容器大小和应用程序主内存

1条答案

相关问题

热门标签

最新问答