我正在编写一个Spark作业，从json文件中读取数据并将其写入parquet文件，下面是示例代码：

DataFrame dataFrame = new DataFrameReader(sqlContext).json(textFile);
    dataFrame = dataFrame.withColumn("year", year(to_date(unix_timestamp(dataFrame.col("date"), "YYYY-MM-dd'T'hh:mm:ss.SSS").cast("timestamp"))));
    dataFrame = dataFrame.withColumn("month", month(to_date(unix_timestamp(dataFrame.col("date"), "YYYY-MM-dd'T'hh:mm:ss.SSS").cast("timestamp"))));
    dataFrame.write().mode(SaveMode.Append).partitionBy("year", "month").parquet("<some_path>");

Json文件由大量json记录组成，我希望记录在parquet中更新，如果它已经存在。我已经尝试了Append模式，但它似乎是在文件级别而不是记录级别工作（即如果文件已经存在，它会在最后写入）。因此，为同一文件运行此作业会复制记录。
有没有什么方法可以指定dataframe行id作为唯一键，并要求spark更新已经存在的记录？所有的保存模式似乎都是检查文件而不是记录。