我试图理解apache flink Jmeter 板显示的“接收/发送的字节”是什么意思。对于某些上下文，csv文件托管在hdfs服务器上，我正在将结果写入机器上本地的一个txt文件中。flink也在我的机器上本地运行。记住这一点，“bytes sent”似乎是指“bytes sent from hdfs server to my machine”，“bytes received”似乎是指“bytes sent from my machine to hdfs server”。这是正确的解释吗？
我也有点困惑的重叠任务所显示的时间表。奇怪的是，连接在前两个数据集的过滤完成之前就开始了。这是预期的行为吗？如果是，为什么？
下面是我的执行计划的一些背景下发生的事情。
1条答案
按热度按时间gajydyqb1#
flink运算符的“接收字节”是指传入数据，“发送字节”是指传出数据。换言之，你已经把它倒过来了：数据源接收的字节是从hdfs接收的字节，从接收器发送的字节是写入txt文件的字节。
然而，正如在这个答案中所解释的，flink不提供源的接收字节统计数据，也不提供汇的发送字节统计数据，这就是为什么这些数字为零。顺便说一句，有计划改善这一点，为未来的版本。
至于数据流管道中的重叠并发计算——是的，这是flink设计的一个重要特性，它可以支持连续的流数据流。在执行批处理工作负载时，这不是必需的，但不会造成伤害。