我用的是piglatin,用的是grunt,每次我“甩”东西的时候,我的游戏机都会被诸如此类的废话,诸如此类的非信息所击垮,有什么方法可以超越这些吗?
grunt> A = LOAD 'testingData' USING PigStorage(':'); dump A;
2013-05-06 19:42:04146[main]info org.apache.pig.tools.pigstats.scriptstate-脚本中使用的pig功能:未知
2013-05-06 19:42:04147[主要]信息
org.apache.pig.backend.hadoop.executionengine.mapreducelayer.mrcompiler-文件连接阈值:100?错误。。。
...
---另一个像是50行无用的背景垃圾。。。直到---。。。
...
org.apache.pig.backend.hadoop.executionengine.mapreducelayer.mapreducelauncher-成功!
现在我有四行信息要找:
(daemon,*,1,1,System Services,/var/root,/usr/bin/false)
(uucp,*,,,/var/spool/uucp,/usr/sbin/uucico)
(taskgated,*,13,13,Task Gate Daemon,/var/empty,/usr/bin/false)
(networkd,*,24,24,Network Services,/var/empty,/usr/bin/false)
(installassistant,*,25,25,/usr/bin/false)
grunt>
--->很明显,如果它出错了,好的lotsa信息是有用的,但是当它基本上工作得很好的时候就不行了。
4条答案
按热度按时间rhfm7lfc1#
pig有一级调试日志,需要在
pig.properties
文件,在控制台上获取大日志的原因,例如,将其更改为错误
dbf7pr2w2#
一个简单的方法是重定向标准错误,如下所示。
但它会压制一切
errors
.我们还发现,如果删除或重命名hadoop安装目录,使pig无法访问它,那么所有这些信息都会消失。
在hadoop中更改日志记录级别并没有帮助,只是为了让您知道。
j91ykkif3#
您需要设置log4j属性。例如:
您还可以设置与hadoop相关的日志级别:
kqlmhetl4#
启动pig时,将log4j.properties文件
pig -4 <filename>
.在我的情况下,有一个log4j.properties在
conf
目录并设置名为org.apache.pig
至ERROR
足以使记录器不那么冗长。