属性名称正确，spark.kryoserializer.buffer.max，值应包括单位，因此在您的情况下为512m。
此外，根据您设置配置的位置，您可能必须写入--conf spark.kryoserializer.buffer.max=512m，例如，使用spark-submit或在Oozie工作流操作的<spark-opts>...</spark-opts>内。

请尝试使用“spark.kryoserializer.buffer.max.mb“、“512“，而不是**spark.kryoserializer.buffer.max"、“512MB**”

你可以在创建spark会话时在spark配置中设置为

SparkSession.builder
.config("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
.config("spark.kryoserializer.buffer.max", "512m")

也可以将spark提交命令作为

spark-submit \
--verbose \
--name "JOB_NAME" \
--master MASTER_IP \
--conf "spark.kryoserializer.buffer.max=512m" \
main.py

这是一个老问题，但第一次击中当我谷歌，所以回答这里帮助他人。
对于Spark 3.2（在Azure Synapse环境中，但不确定这是否重要），我尝试了所有这些组合，但唯一能将大Spark DataFrame转换为Pandas（）的组合是spark.kryoserializer.buffer.max=512。数字后面没有字母，结尾没有“.mb”。