从foreachpartitionjava spark获取数据

iovurdzv  于 2021-05-31  发布在  Hadoop
关注(0)|答案(0)|浏览(276)

我正在使用下面的方法将spark数据集转换为哈希Map列表

List<HashMap> finalJsonMap = new ArrayList<HashMap>();
srcData.foreachPartition(new ForeachPartitionFunction<Row>() {
    public void call(Iterator<Row> t) throws Exception {
        while (t.hasNext()){
            Row eachRow = t.next();
            HashMap rowMap = new HashMap();
            for(int j=0;j<grpdColNames.size();j++){
                rowMap.put(grpdColNames.get(j), eachRow.getString(j));  
            }
            finalJsonMap.add(rowMap);
        }
    }
});

迭代工作正常,但我无法将rowmap添加到finaljsonmap中。
最好的方法是什么?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题