如何在使用dump命令的同时通过'pig-x local'使用grunt来抑制无用信息的膨胀？

qjp7pelc 于 2021-06-24 发布在 Pig

关注(0)|答案(4)|浏览(322)

我用的是piglatin，用的是grunt，每次我“甩”东西的时候，我的游戏机都会被诸如此类的废话，诸如此类的非信息所击垮，有什么方法可以超越这些吗？

grunt> A = LOAD 'testingData' USING PigStorage(':'); dump A;

2013-05-06 19:42:04146[main]info org.apache.pig.tools.pigstats.scriptstate-脚本中使用的pig功能：未知
2013-05-06 19:42:04147[主要]信息
org.apache.pig.backend.hadoop.executionengine.mapreducelayer.mrcompiler-文件连接阈值：100？错误。。。
...
---另一个像是50行无用的背景垃圾。。。直到---。。。
...
org.apache.pig.backend.hadoop.executionengine.mapreducelayer.mapreducelauncher-成功！
现在我有四行信息要找：

(daemon,*,1,1,System Services,/var/root,/usr/bin/false)
(uucp,*,,,/var/spool/uucp,/usr/sbin/uucico)
(taskgated,*,13,13,Task Gate Daemon,/var/empty,/usr/bin/false)
(networkd,*,24,24,Network Services,/var/empty,/usr/bin/false)
(installassistant,*,25,25,/usr/bin/false) 
grunt>

--->很明显，如果它出错了，好的lotsa信息是有用的，但是当它基本上工作得很好的时候就不行了。

apache-pig dump gruntjs verbosity

来源：https://stackoverflow.com/questions/16410489/how-do-i-suppress-the-bloat-of-useless-information-when-using-the-dump-command-w

4条答案

按热度按时间

rhfm7lfc1#

pig有一级调试日志，需要在 pig.properties 文件，


# Logging level. debug=OFF|ERROR|WARN|INFO|DEBUG (default: INFO)

# 

# debug=INFO

在控制台上获取大日志的原因，例如，将其更改为错误

赞(0）回复(0）举报 2021-06-24

dbf7pr2w2#

一个简单的方法是重定向标准错误，如下所示。
但它会压制一切 errors .

pig -x local 2> /dev/null

我们还发现，如果删除或重命名hadoop安装目录，使pig无法访问它，那么所有这些信息都会消失。
在hadoop中更改日志记录级别并没有帮助，只是为了让您知道。

赞(0）回复(0）举报 2021-06-24

j91ykkif3#

您需要设置log4j属性。例如：

$PIG_HOME/conf/pig.properties :
enable:

# log4jconf=./conf/log4j.properties

rename: log4j.properties.template -> log4j.properties

log4j.properties :
set info to error:
log4j.logger.org.apache.pig=info, A

您还可以设置与hadoop相关的日志级别：

log4j.logger.org.apache.hadoop = error, A

赞(0）回复(0）举报 2021-06-24

kqlmhetl4#

启动pig时，将log4j.properties文件 pig -4 <filename> .
在我的情况下，有一个log4j.properties在 conf 目录并设置名为 org.apache.pig 至 ERROR 足以使记录器不那么冗长。

log4j.logger.org.apache.pig=ERROR, A

赞(0）回复(0）举报 2021-06-24

我来回答

如何在使用dump命令的同时通过'pig-x local'使用grunt来抑制无用信息的膨胀？

4条答案

相关问题

热门标签

最新问答