我有一个json文件,想把它转换成Parquet文件。我知道如何从json文件转换为java对象,但仍然需要从java对象转换为parquet文件。我不想使用avro/protocol buffers/thrift等进行转换。。而且,我也不想使用apachedrill—只是一个java代码。
我在maven中使用java项目,我的pom.xml如下所示:
<dependencies>
<dependency>
<groupId>org.apache.parquet</groupId>
<artifactId>parquet-common</artifactId>
<version>1.8.1</version>
</dependency>
<dependency>
<groupId>org.apache.parquet</groupId>
<artifactId>parquet-encoding</artifactId>
<version>1.8.1</version>
</dependency>
<dependency>
<groupId>org.apache.parquet</groupId>
<artifactId>parquet-column</artifactId>
<version>1.8.1</version>
</dependency>
<dependency>
<groupId>org.apache.parquet</groupId>
<artifactId>parquet-hadoop</artifactId>
<version>1.8.1</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.2.0</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-core</artifactId>
<version>0.20.2</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.2.0</version>
</dependency>
</dependencies>
意味着我使用hadoop没有问题。
所以我找到了这个链接(最后的评论):
https://groups.google.com/forum/#!主题/Parquet地板开发/lfwanfoc040
上面的链接有我想要的,但我有一个问题,有2个导入那里,无法找到正确的依赖关系。
这是我找不到的两个进口产品:
import org.apache.hadoop.hive.ql.io.parquet.writable.BinaryWritable;
import org.apache.hadoop.hive.ql.io.parquet.write.DataWritableWriteSupport;
感谢您帮助查找依赖项。
塔克斯:)
1条答案
按热度按时间m528fe3b1#
好吧,我找到了答案:
好好享受!