将sparkDataframe写入固定宽度文件java spark

whlutmcx  于 2021-05-17  发布在  Spark
关注(0)|答案(1)|浏览(385)

我已经使用JavaSparkDataFrame将csv读入了dataframe,现在我必须对每个列应用一些宽度,并将这些数据写入一个固定宽度的文件中。例如..列1有2位宽度,列2有7位…就像我有85列一样。有人能告诉我如何使用JavaSpark将dataframe中的数据写入固定宽度的文件吗。我只需要java spark的解决方案

pkwftd7m

pkwftd7m1#

如果没有更多的描述(和代码示例),我建议如下:

public Dataset<String> toFixedWidthString(Dataset<MyClass> inputDataset, int width) {
    return inputDataset.map(myClass ->
        String.format("%" + width + "s", myClass.toString()), Encoders.STRING());
}

相关问题