我想知道数据的大小,它是在所有螺栓和喷口之间传输的。有人知道怎么可能找到字节大小的元组吗?
ma8fv8wu1#
您可以启用 topology.serialized.message.size.metrics . 文件上说:启用对每个源-目标任务的网络消息字节计数的跟踪。这在默认情况下是关闭的,因为它创建tasks2度量值,但对于调试非常有用,因为当元组大小不均匀时,它会暴露数据倾斜。那么你的尺寸应该是标准尺寸。请注意,在单个worker上并置的螺栓显然在本地传输它们的元组,而不进行任何序列化,因此它们的传输大小将为0。
topology.serialized.message.size.metrics
1条答案
按热度按时间ma8fv8wu1#
您可以启用
topology.serialized.message.size.metrics
. 文件上说:启用对每个源-目标任务的网络消息字节计数的跟踪。这在默认情况下是关闭的,因为它创建tasks2度量值,但对于调试非常有用,因为当元组大小不均匀时,它会暴露数据倾斜。
那么你的尺寸应该是标准尺寸。
请注意,在单个worker上并置的螺栓显然在本地传输它们的元组,而不进行任何序列化,因此它们的传输大小将为0。