apache-kafka Spark结构化流- Kafka -缺少所需的配置“分区.分配.策略”

gijlo24d 于 2022-11-01 发布在 Apache

关注(0)|答案(1)|浏览(161)

这是我的准则。
第一个
当我在笔记本电脑上添加spark_home时，代码工作正常，但我需要将其提取到docker环境中。
这是docker images --〉https://hub.docker.com/layers/gettyimages/spark/2.3.1-hadoop-3.0/images/sha256-0bc08017eb4da02b7d6260ca3e5fdff921944c4a598283f1787521c58cf368c6?context=explore注意（我使用的spark版本是2.3.1
即使我从不同的位置安装环境，它也应该是2.3.1版。）

1条答案

您可以传递这个，但是我也建议升级Spark版本和Kafka依赖项，因为这可能是一个bug，因为RangeAssignor应该是默认的。

.option("kafka.partition.assignment.strategy", 
    "org.apache.kafka.clients.consumer.RangeAssignor")

您也可以尝试在PYSPARK_SUBMIT_ARGS中包含较新版本的kafka-clients