在我处理的集群上，每个用户都有60gb的hadoop配额。从历史上看，我所从事的项目会生成很多配置单元查询。为了更快地工作，我尝试并行这些查询（它们是不相关的），但是结果目录/user/{myusername}/.staging/被job{someid}目录填充，这些目录又被hivejar填充，并且非常快地消耗这些60gb。虽然我可以限制并行化因子，但我也想看看是否可以让hive将这些jar放在不同的目录中。说/tmp/{myusername}这样我就有了更多的空间。
知道如何让hive/beeline在/tmp/{myusername}下创建.staging目录吗？
2条答案
按热度按时间col17t5w1#
最简单的方法是执行直线会话。
我想你可以通过！设置在直线内，但没有语法。
brjng4g32#
上面的方法行不通。
我们发现以下方法有效
beeline—hiveconf hive.exec.stagingdir=/tmp/{myusername}