如何在使用dump命令的同时通过'pig-x local'使用grunt来抑制无用信息的膨胀?

qjp7pelc  于 2021-06-24  发布在  Pig
关注(0)|答案(4)|浏览(307)

我用的是piglatin,用的是grunt,每次我“甩”东西的时候,我的游戏机都会被诸如此类的废话,诸如此类的非信息所击垮,有什么方法可以超越这些吗?

grunt> A = LOAD 'testingData' USING PigStorage(':'); dump A;

2013-05-06 19:42:04146[main]info org.apache.pig.tools.pigstats.scriptstate-脚本中使用的pig功能:未知
2013-05-06 19:42:04147[主要]信息
org.apache.pig.backend.hadoop.executionengine.mapreducelayer.mrcompiler-文件连接阈值:100?错误。。。
...
---另一个像是50行无用的背景垃圾。。。直到---。。。
...
org.apache.pig.backend.hadoop.executionengine.mapreducelayer.mapreducelauncher-成功!
现在我有四行信息要找:

(daemon,*,1,1,System Services,/var/root,/usr/bin/false)
(uucp,*,,,/var/spool/uucp,/usr/sbin/uucico)
(taskgated,*,13,13,Task Gate Daemon,/var/empty,/usr/bin/false)
(networkd,*,24,24,Network Services,/var/empty,/usr/bin/false)
(installassistant,*,25,25,/usr/bin/false) 
grunt>

--->很明显,如果它出错了,好的lotsa信息是有用的,但是当它基本上工作得很好的时候就不行了。

rhfm7lfc

rhfm7lfc1#

pig有一级调试日志,需要在 pig.properties 文件,


# Logging level. debug=OFF|ERROR|WARN|INFO|DEBUG (default: INFO)

# 

# debug=INFO

在控制台上获取大日志的原因,例如,将其更改为错误

dbf7pr2w

dbf7pr2w2#

一个简单的方法是重定向标准错误,如下所示。
但它会压制一切 errors .

pig -x local 2> /dev/null

我们还发现,如果删除或重命名hadoop安装目录,使pig无法访问它,那么所有这些信息都会消失。
在hadoop中更改日志记录级别并没有帮助,只是为了让您知道。

j91ykkif

j91ykkif3#

您需要设置log4j属性。例如:

$PIG_HOME/conf/pig.properties :
enable:

# log4jconf=./conf/log4j.properties

rename: log4j.properties.template -> log4j.properties

log4j.properties :
set info to error:
log4j.logger.org.apache.pig=info, A

您还可以设置与hadoop相关的日志级别:

log4j.logger.org.apache.hadoop = error, A
kqlmhetl

kqlmhetl4#

启动pig时,将log4j.properties文件 pig -4 <filename> .
在我的情况下,有一个log4j.properties在 conf 目录并设置名为 org.apache.pigERROR 足以使记录器不那么冗长。

log4j.logger.org.apache.pig=ERROR, A

相关问题