我试图读取一个大的avro文件（2gb）使用sparkshell，但我得到stackoverflow错误。

val newDataDF = spark.read.format("com.databricks.spark.avro").load("abc.avro")
java.lang.StackOverflowError
  at com.databricks.spark.avro.SchemaConverters$.toSqlType(SchemaConverters.scala:71)
  at com.databricks.spark.avro.SchemaConverters$.toSqlType(SchemaConverters.scala:81)

我试图增加驱动程序内存和执行程序内存，但我仍然得到相同的错误。

./bin/spark-shell --packages com.databricks:spark-avro_2.11:3.1.0 --driver-memory 8G --executor-memory 8G

如何读取此文件？这是分区这个文件的方法吗？