bash—在通过ssh执行时是否有打印配置单元sql运行时日志的选项

46qrfjad  于 2021-05-31  发布在  Hadoop
关注(0)|答案(0)|浏览(220)

我最近有一个hive版本从1.2.1升级到2.3.0,同时从hdp-ec2升级到emr。
下面是我执行所有查询时使用的shell脚本格式,

ssh -T -i key.pem uname@99.99.99.99 <<EOF
hive <<EO1
     <Hive-Query>
EO1
EOF

在版本1.2.1中,用于标准输出运行时日志的正在运行的shell脚本,包括正在执行的查询和正在运行的Map程序/还原程序实时计数。
在配置单元版本为2.3.0的emr中,使用完全相同的脚本,日志除了查询完成通知之外没有任何内容。
预期日志

Total jobs = 1
Launching Job 1 out of 1

Status: Running (Executing on YARN cluster with App id application_********_0373)

Map 1: -/-  Reducer 2: 0/36 
Map 1: 0/191    Reducer 2: 0/36 
Map 1: 0(+1)/191    Reducer 2: 0/36 
Map 1: 0(+22)/191   Reducer 2: 0/36 
Map 1: 0(+44)/191   Reducer 2: 0/36 
Map 1: 0(+62)/191   Reducer 2: 0/36 
Map 1: 1(+61)/191   Reducer 2: 0/36 
Map 1: 2(+61)/191   Reducer 2: 0/36 
Map 1: 2(+62)/191   Reducer 2: 0/36 
.
.
.
.
.
Moving data to directory hdfs://ip-***************

当前登录emr

Total jobs = 1
Launching Job 1 out of 1
Status: Running (Executing on YARN cluster with App id application_1592149437885_0947)

Moving data to directory hdfs://ip-***************

有没有关于什么更改会导致日志消失的指针?
注意:在集群中直接执行查询时,日志是存在的。但是当通过ssh执行时,日志会丢失。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题