pig命令执行

o8x7eapl  于 2021-05-29  发布在  Hadoop
关注(0)|答案(2)|浏览(341)

我正在自学hadoop,所以我不确定我问的是不是一个问题。当我运行命令时 pig -x local 要在本地运行,我收到以下消息:

15/10/05 15:23:28 INFO pig.ExecTypeProvider: Trying ExecType : LOCAL
    15/10/05 15:23:28 INFO pig.ExecTypeProvider: Picked LOCAL as the ExecType
    2015-10-05 15:23:28,830 [main] INFO  org.apache.pig.Main - Apache Pig version 0.15.0 (r1682971) compiled Jun 01 2015, 11:44:35
    2015-10-05 15:23:28,831 [main] INFO  org.apache.pig.Main - Logging error messages to: /home/nkhl/pig_1444038808829.log
    2015-10-05 15:23:29,050 [main] INFO  org.apache.pig.impl.util.Utils - Default bootup file /home/nkhl/.pigbootup not found
    2015-10-05 15:23:29,333 [main] INFO  org.apache.hadoop.conf.Configuration.deprecation - fs.default.name is deprecated. Instead, use fs.defaultFS
    2015-10-05 15:23:29,334 [main] INFO  org.apache.hadoop.conf.Configuration.deprecation - mapred.job.tracker is deprecated. Instead, use mapreduce.jobtracker.address
    2015-10-05 15:23:29,335 [main] INFO  org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to hadoop file system at: file:///
    2015-10-05 15:23:29,562 [main] INFO  org.apache.hadoop.conf.Configuration.deprecation - io.bytes.per.checksum is deprecated. Instead, use dfs.bytes-per-checksum

它在我的在线导师的屏幕上看起来不一样,所以我有点困惑。
我最关心的是 deprecation 部分。有人能帮我吗?它想说什么?别误会,一切正常。发出咕噜声的炮弹装好了,一切都很顺利。我只是想知道那是什么意思。
这是一台ubuntu机器。
谢谢!

swvgeqrz

swvgeqrz1#

如果您正在使用pig进行一些快速测试,例如在udf中显示sysout等,那么以本地方式运行pig是非常好的选择。您可以安全地忽略上面的警告。这意味着conf-site.xml中设置的一些变量已被弃用。
您可以通过编辑
log4j.logger.org.apache.hadoop.conf.configuration.deprecation
在log4j.properties文件中。

baubqpgj

baubqpgj2#

您已经设置了一些与hadoop相关的变量,例如 HADOOP_HOME 或者 HADOOP_PREFIX 或者 HADOOP_CONF_DIR ,如果您在本地模式下运行pig,则不需要。

unset HADOOP_HOME
unset HADOOP_PREFIX
unset HADOOP_CONF_DIR

反对并不可怕。它们提醒我们,代码正在调用一些最终将在未来版本中消失的东西。这些具体的反对意见是由hadoop1和hadoop2之间的差异引起的。pig与这两个版本兼容。如果您碰巧使用的是hadoop1.2.1而不是2.x,则不会看到警告。这是因为pig首先检查hadoop1的值。
如果你对学习更多感兴趣,可以查看pig源代码。https://github.com/apache/pig/blob/release-0.15.0/src/org/apache/pig/backend/hadoop/executionengine/hexecutionengine.java#l219-l222号

相关问题