我正在尝试更新一个大型mysql表中每行的几个字段（有接近 500 百万行）。该表没有任何主键（或者没有像uuid这样的字符串主键）。我没有足够的执行器内存来一次读取和保存整个数据。有人能告诉我处理这些表格的方法吗。
下面是模式

CREATE TABLE Persons ( Personid varchar(255) NOT NULL, LastName varchar(255) NOT NULL, FirstName varchar(255) DEFAULT NULL, Email varchar(255) DEFAULT NULL, Age int(11) DEFAULT NULL) ) ENGINE=InnoDB DEFAULT CHARSET=latin1;

Spark代码就像

SparkSession spark = SparkSession.builder().master("spark://localhost:7077").appName("KMASK").getOrCreate();
DataFrame rawDataFrame = spark.read().format("jdbc").load();
rawDataFrame.createOrReplaceTempView("data");
//encrypt is UDF
String sql = "select Personid, LastName, FirstName, encrypt(Email), Age from data";
Dataset newData = spark.sql(sql);
newData.write().mode(SaveMode.Overwrite).format("jdbc").options(options).save();

这张table周围有 150 百万条记录，数据大小 6GB . 我对遗嘱执行人的记忆 2 gb . 我可以使用spark-jdbc处理这个表吗。