如何在Spark流中启用背压(使用pyspark)

beq87vna 于 2021-06-06 发布在 Kafka

关注(0)|答案(1)|浏览(317)

我想知道正确的方法是什么 backpressure 在 spark streaming 通过 pyspark . 我好像收到了太多的邮件 Kafka 很快就爆炸了。下面是我的密码 spark streaming . 有人能给我指出正确的地方吗 back pressure ?

sc = SparkContext(appName="PythonStreamingDirectKafka")
ssc = StreamingContext(sc, 5)
ssc.checkpoint("/spark_check/")
kvs = KafkaUtils.createDirectStream(ssc, [kafka_topic],
                                    {"metadata.broker.list": bootstrap_servers_ipaddress})
parsed_msg = kvs.map(lambda (key, value): json.loads(value))

## do something below

apache-kafka apache-spark pyspark spark-streaming

来源：https://stackoverflow.com/questions/50321638/how-to-enable-backpressure-in-spark-streaming-using-pyspark

1条答案

按热度按时间

insrf1ej1#

下面是我如何设置我的Kafka流代码背压。希望有帮助。

from pyspark import SparkContext, SparkConf

conf = SparkConf().setAppName("PythonStreamingDirectKafka")\
        .set("spark.streaming.backpressure.enabled", "true") \
        .set("spark.streaming.backpressure.initialRate", "500")

sc = SparkContext(conf=conf)

赞(0）回复(0）举报 2021-06-07

我来回答

如何在Spark流中启用背压(使用pyspark)

1条答案

相关问题

热门标签

最新问答