我在docs中看到orc允许输出到文件系统,比如hadoop或local。
Configuration conf = new Configuration();
TypeDescription schema = TypeDescription.fromString("struct<x:int,y:int>");
Writer writer = OrcFile.createWriter(new Path("my-file.orc"),
OrcFile.writerOptions(conf)
.setSchema(schema));
我对覆盖这个功能以将orc二进制输出到s3很感兴趣,并且想知道什么建议最合适。一个想法是使用apache内存文件系统并从那里上传到s3,但这种方法似乎很麻烦。
暂无答案!
目前还没有任何答案,快来回答吧!