我正在从本地数据源设置事件流管道。数据将首先暂存在暂存层中（过渡层为Aurora MySQL）。从过渡层（Aurora MySQL）数据将通过Kafka主题进行流式传输，Debezium MySQL连接器用于将DML操作流式传输到Kafka。Apache Spark（带PySpark的Python）应用程序将充当消费者，在此进行ETL并将数据加载到仓库。
使用此版本集。
Python : 3.7
pyspark : 3.3.1
Kafka : 0.8.2.0
Debeziun-msql-connector : 1.3.1
java version: 8我无法阅读Kafka的主题，我没有得到任何错误，但代码无法阅读的主题。但代码运行没有错误。
有没有人知道一个完美的工作版本来读取Kafka主题的数据？棘手的部分是Kafka版本需要与Debezium-MySQL-connector兼容
1条答案
按热度按时间dgiusagp1#
查看此页面了解Debezium 1.3与Kafka-Debezium Release Notes的兼容性，其中提到Kafka版本1.x或2.x
根据Spark发布说明，Spark 3.3.x支持Kafka 3.1-Spark 3.3.0 Release Notes
另供参考：SPARK-36837、SPARK-32568 (in 3.1.0)
如果当前设置不适合您，您也可以类似地检查其他版本-尝试使用Spark 3.1.x，它使用Kafka 2.6-SPARK-32568