从java对象到parquet文件

zrfyljdw  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(529)

我有一个json文件,想把它转换成Parquet文件。我知道如何从json文件转换为java对象,但仍然需要从java对象转换为parquet文件。我不想使用avro/protocol buffers/thrift等进行转换。。而且,我也不想使用apachedrill—只是一个java代码。
我在maven中使用java项目,我的pom.xml如下所示:

<dependencies>
        <dependency>
            <groupId>org.apache.parquet</groupId>
            <artifactId>parquet-common</artifactId>
            <version>1.8.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.parquet</groupId>
            <artifactId>parquet-encoding</artifactId>
            <version>1.8.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.parquet</groupId>
            <artifactId>parquet-column</artifactId>
            <version>1.8.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.parquet</groupId>
            <artifactId>parquet-hadoop</artifactId>
            <version>1.8.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.2.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-core</artifactId>
            <version>0.20.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.2.0</version>
        </dependency>
    </dependencies>

意味着我使用hadoop没有问题。
所以我找到了这个链接(最后的评论):
https://groups.google.com/forum/#!主题/Parquet地板开发/lfwanfoc040
上面的链接有我想要的,但我有一个问题,有2个导入那里,无法找到正确的依赖关系。
这是我找不到的两个进口产品:

import org.apache.hadoop.hive.ql.io.parquet.writable.BinaryWritable;
import org.apache.hadoop.hive.ql.io.parquet.write.DataWritableWriteSupport;

感谢您帮助查找依赖项。
塔克斯:)

m528fe3b

m528fe3b1#

好吧,我找到了答案:

<dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>0.13.0</version>
        </dependency>

好好享受!

相关问题