java—以编程方式确定烫伤/层叠管道的字段名

gopyfrb3  于 2021-06-04  发布在  Hadoop
关注(0)|答案(1)|浏览(310)

我使用烫伤来处理具有许多(>22)字段的记录。在这个过程的最后,我想把最后一个管道的字段名写到一个文件中。我知道这是可能的,因为mapper和reducer日志显示了这些信息。我想从工作本身中获得这些信息,以此作为穷人模式的基础。如果这是不可能做到的,那么有没有一个很好的方法来为大型记录使用类型安全管道api(即,不诉诸于任意嵌套的元组或case类)?

u1ehiz5o

u1ehiz5o1#

.write(Tsv("filename.tsv"), writeHeader=true)

通过制造 writeHeader = true 你告诉警察 .write 函数也包含架构。

相关问题