orc文件编写器将输出直接发送到s3而不是文件系统

oyxsuwqo  于 2021-06-24  发布在  Hive
关注(0)|答案(0)|浏览(209)

我在docs中看到orc允许输出到文件系统,比如hadoop或local。

Configuration conf = new Configuration();
TypeDescription schema = TypeDescription.fromString("struct<x:int,y:int>");
Writer writer = OrcFile.createWriter(new Path("my-file.orc"),
                  OrcFile.writerOptions(conf)
                         .setSchema(schema));

我对覆盖这个功能以将orc二进制输出到s3很感兴趣,并且想知道什么建议最合适。一个想法是使用apache内存文件系统并从那里上传到s3,但这种方法似乎很麻烦。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题