我正在运行一个流flink作业，它使用来自kafka的流数据，并在flink map函数中对数据进行一些处理，然后将数据写入azure数据湖和ElasticSearch。对于map函数，我使用了1的并行性，因为我需要在作为全局变量维护的数据列表上逐个处理传入的数据。现在当我在flink开始从kafka获取流式数据时运行作业，它的反压力在map函数中变得很高。有什么设置或配置，我可以做，以避免背压在Flink？
我正在运行一个流flink作业，它使用来自kafka的流数据，并在flink map函数中对数据进行一些处理，然后将数据写入azure数据湖和ElasticSearch。对于map函数，我使用了1的并行性，因为我需要在作为全局变量维护的数据列表上逐个处理传入的数据。现在当我在flink开始从kafka获取流式数据时运行作业，它的反压力在map函数中变得很高。有什么设置或配置，我可以做，以避免背压在Flink？
1条答案
按热度按时间klsxnrf11#
给定运算符上的背压表示下一个运算符正在缓慢消耗元素。从你的描述看来，其中一个Flume的性能很差。考虑扩大接收器的规模，对接收器进行注解以便进行故障排除，和/或调查您是否达到了azure速率限制。