我最近有一个hive版本从1.2.1升级到2.3.0,同时从hdp-ec2升级到emr。
下面是我执行所有查询时使用的shell脚本格式,
ssh -T -i key.pem uname@99.99.99.99 <<EOF
hive <<EO1
<Hive-Query>
EO1
EOF
在版本1.2.1中,用于标准输出运行时日志的正在运行的shell脚本,包括正在执行的查询和正在运行的Map程序/还原程序实时计数。
在配置单元版本为2.3.0的emr中,使用完全相同的脚本,日志除了查询完成通知之外没有任何内容。
预期日志
Total jobs = 1
Launching Job 1 out of 1
Status: Running (Executing on YARN cluster with App id application_********_0373)
Map 1: -/- Reducer 2: 0/36
Map 1: 0/191 Reducer 2: 0/36
Map 1: 0(+1)/191 Reducer 2: 0/36
Map 1: 0(+22)/191 Reducer 2: 0/36
Map 1: 0(+44)/191 Reducer 2: 0/36
Map 1: 0(+62)/191 Reducer 2: 0/36
Map 1: 1(+61)/191 Reducer 2: 0/36
Map 1: 2(+61)/191 Reducer 2: 0/36
Map 1: 2(+62)/191 Reducer 2: 0/36
.
.
.
.
.
Moving data to directory hdfs://ip-***************
当前登录emr
Total jobs = 1
Launching Job 1 out of 1
Status: Running (Executing on YARN cluster with App id application_1592149437885_0947)
Moving data to directory hdfs://ip-***************
有没有关于什么更改会导致日志消失的指针?
注意:在集群中直接执行查询时,日志是存在的。但是当通过ssh执行时,日志会丢失。
暂无答案!
目前还没有任何答案,快来回答吧!