如何在使用parquet格式从配置单元表查询时抑制日志

zf2sa74q  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(432)

首先,我用spark1.6.1创建一个表,如下所示:

hiveContext.createDataFrame(rows, schema).write.mode(SaveMode.Append).saveAsTable(tableName)

第二,当我从我的表中进行如下查询时:

hive> select dt from tablename limit 200;

它打印了很多这样的日志:2016-12-9 10:41:11 info:parquet.hadoop.internalparquetrecordreader:block read in memory in 1 ms.row count=13 2016-12-9 10:41:11 warn:parquet.hadoop.parquetrecordreader:无法初始化计数器,因为上下文不是taskinputoutputcontext的示例,但是is org.apache.hadoop.mapreduce.task.taskattemptcontextimpl 2016-12-9 10:41:11信息:parquet.hadoop.internalparquetrecordreader:recordreader initialized将读取总共20条记录。2016-12-9 10:41:11信息:parquet.hadoop.internalparquetrecordreader:第0行。读取下一个块2016-12-9 10:41:11信息:parquet.hadoop.internalparquetrecordreader:block read in memory in 1 ms.行计数=20 2016-12-9 10:41:11警告:parquet.hadoop.par2016-11-26

2016-11-26
2016-09-02
2016-11-13
2016-11-13
2016-11-13
2016-11-13
2016-11-13
2016-11-13
2016-11-13
2016-11-13
2016-11-13
2016-11-13
2016-11-13
2016-11-13
2016-11-13

请看粗体的字体,这是我结果的一部分。但它与日志信息混合在一起
但当你这样问的时候:

hive> select dt from tablename group dt;

很好
如何抑制我不需要的日志?

rvpgvaaj

rvpgvaaj1#

您需要使用这个函数“sparkcontext.setloglevel(“warn”)”?

相关问题