我正在使用spark cassandra connector（python）向cassandra写入300万行8列的数据，当我回读时，只得到50000行。当我检查cqlsh中的行数时，也有50000中的行数只有我的数据去了哪里spark-cassandra连接器有问题吗？
这是我的spark配置

spark = SparkSession.builder.appName("das_archive").config(
"spark.driver.memory", "25g").config('spark.cassandra.connection.host',
                                     '127.0.0.1').config(
'spark.jars.packages',
'datastax:spark-cassandra-connector:2.4.0-s_2.11')

写

df.write.format("org.apache.spark.sql.cassandra").mode('append').options(
    table='shape1', keyspace="shape_db1").save(

阅读

load_options = {"table": "shape1", "keyspace": "shape_db1",
                "spark.cassandra.input.split.size_in_mb": "1000",
                'spark.cassandra.input.consistency.level': "ALL"}
data_frame = spark.read.format("org.apache.spark.sql.cassandra").options(
  **load_options).load()