我正试图通过pyspark连接到远程cassandra服务器,但它在运行cronjob时没有在cassandra中执行写操作。同样的代码在jupyter笔记本上的服务器上工作,但不是通过cronjob。os.environ['pyspark\u submit\u args']='--主本地[*]pyspark shell--包com.datastax。spark:spark-cassandra-connector_2.12:2.5.0--conf spark.cassandra.connection.host=127.0.0.1 pyspark shell--conf spark.sql.extensions=com.datastax.spark.connector.cassandrasparkextensions' 从pyspark导入sparkcontext sc=sparkcontext(“local”,“keyspace\u name”)sqlcontext=sqlcontext(sc) data_to_write.write.format(“org.apache.spark.sql.cassandra”).mode('append').options(table=“tablename”,keyspace=“keyspace_name”).save()
我在cassandra日志中看到这个错误:error[messaging-eventloop-3-3]2020-08-05 09:24:36606 outboundconnectioninitiator。java:373 - 与对等方xx..握手失败。:9042(xx...)。:9042)org.apache.cassandra.net.crc$invalidcrc–
暂无答案!
目前还没有任何答案,快来回答吧!