我想逃跑 mapreduce 工作。我的文件在一个 parquet 格式。
我得到以下错误：
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/thrift/TException
at parquet.format.converter.ParquetMetadateConverter.readParquetMetadata(ParquetMetadateConverter.java:268)
at parquet.hadoop.ParquetFileReader.readFooter(ParquetFileReader.java:271)
at parquet.hadoop.ParquetFileReader.readSummeryFile(ParquetFileReader.java:200)
at parquet.hadoop.ParquetFileReader.readAllFootersInParallelUsingSummeryFiles(ParquetFileReader.java:99)
at parquet.hadoop.ParquetInputFormat.getFooters(ParquetInputFormat.java:354)
at parquet.hadoop.ParquetInputFormat.getFooters(ParquetInputFormat.java:339)
at parquet.hadoop.ParquetInputFormat.getSplits(ParquetInputFormat.java:246)
...我试着把装有 TException 与 --libjars my_path/libthrift-0.9.0.jar 我还是会犯同样的错误。
1条答案
按热度按时间xtupzzrd1#
请尝试设置
HADOOP_CLASSPATH参数指向libthrift.jar与所需版本匹配的文件。例如：
希望这有帮助！