我写了一篇精彩的文章。如下所示：

public class TestClass {

public static void main(String[] args){
String masterIp = args[0];
String appName = args[1];
String inputFile = args[2];
String output = args[3];
SparkConf conf = new SparkConf().setMaster(masterIp).setAppName(appName);
JavaSparkContext sparkContext = new JavaSparkContext(conf);
JavaRDD<String> rdd = sparkContext.textFile(inputFile);
Integer[] keyColumns = new Integer[] {0,1,2};
Broadcast<Integer[]> broadcastJob = sparkContext.broadcast(keyColumns);

Function<Integer,Long> createCombiner = v1 -> Long.valueOf(v1);
Function2<Long, Integer, Long> mergeValue = (v1,v2) -> v1+v2;
Function2<Long, Long, Long> mergeCombiners = (v1,v2) -> v1+v2;

JavaPairRDD<String, Long> pairRDD = rdd.mapToPair(new PairFunction<String, String, Integer>() {
      private static final long serialVersionUID = -6293440291696487370L;
      @Override
      public Tuple2<String, Integer> call(String t) throws Exception {
        String[] record = t.split(",");
        Integer[] keyColumns = broadcastJob.value();
        StringBuilder key = new StringBuilder();
        for (int index = 0; index < keyColumns.length; index++) {
          key.append(record[keyColumns[index]]);
        }
        key.append("|id=1");
        Integer value = new Integer(record[4]);
        return new Tuple2<String, Integer>(key.toString(),value);
      }}).combineByKey(createCombiner, mergeValue, mergeCombiners).reduceByKey((v1,v2) -> v1+v2);
      pairRDD.saveAsTextFile(output);
   }
}

程序计算每个键的值之和。根据我的理解，本地合并器应该在每个节点上运行，并将相同键的值相加，然后用少量数据进行洗牌。但在sparkui上，它显示了大量的无序读写（几乎58gb）。我做错什么了吗？如何知道本地合路器是否工作？
群集详细信息：-
20节点群集
每个节点有80gb硬盘，8gb ram，4核
hadoop-2.7.2版本
spark-2.0.2（预装配hadoop-2.7.x发行版）
输入文件详细信息：-
输入文件存储在hdfs上
输入文件大小：400gb
记录数：1612999990
记录列：string（2个字符）、int、int、string（2个字符）、int、int、string（2个字符）、string（2个字符）、string（2个字符）
注意：不同键的最大数目是1081600。
在spark日志中，我看到任务使用localtylevel node\u local运行。