首先,我用spark1.6.1创建一个表,如下所示:
hiveContext.createDataFrame(rows, schema).write.mode(SaveMode.Append).saveAsTable(tableName)
第二,当我从我的表中进行如下查询时:
hive> select dt from tablename limit 200;
它打印了很多这样的日志:2016-12-9 10:41:11 info:parquet.hadoop.internalparquetrecordreader:block read in memory in 1 ms.row count=13 2016-12-9 10:41:11 warn:parquet.hadoop.parquetrecordreader:无法初始化计数器,因为上下文不是taskinputoutputcontext的示例,但是is org.apache.hadoop.mapreduce.task.taskattemptcontextimpl 2016-12-9 10:41:11信息:parquet.hadoop.internalparquetrecordreader:recordreader initialized将读取总共20条记录。2016-12-9 10:41:11信息:parquet.hadoop.internalparquetrecordreader:第0行。读取下一个块2016-12-9 10:41:11信息:parquet.hadoop.internalparquetrecordreader:block read in memory in 1 ms.行计数=20 2016-12-9 10:41:11警告:parquet.hadoop.par2016-11-26
2016-11-26
2016-09-02
2016-11-13
2016-11-13
2016-11-13
2016-11-13
2016-11-13
2016-11-13
2016-11-13
2016-11-13
2016-11-13
2016-11-13
2016-11-13
2016-11-13
2016-11-13
请看粗体的字体,这是我结果的一部分。但它与日志信息混合在一起
但当你这样问的时候:
hive> select dt from tablename group dt;
很好
如何抑制我不需要的日志?
1条答案
按热度按时间rvpgvaaj1#
您需要使用这个函数“sparkcontext.setloglevel(“warn”)”?