我正在用apachestorm用java开发wordcount;句子取自一个文件,我想估计一下storm处理文件所用的时间。我的问题是如何知道那场风暴 LocalCluster 已经处理完文件中的所有句子以及如何估计所用的时间。
LocalCluster
vecaoik11#
你的问题没有一个干净的解决方案,也不可能估算出所需的时间。如果您启用了容错机制(即,在spout分配消息id,并在bolts中分配锚定和ack),那么您可以跟踪spout中传入的ack。如果没有元组被挂起了,也就是说,所有的ack都被接收到了,那么你就知道所有的事情都被完全处理了。
1条答案
按热度按时间vecaoik11#
你的问题没有一个干净的解决方案,也不可能估算出所需的时间。
如果您启用了容错机制(即,在spout分配消息id,并在bolts中分配锚定和ack),那么您可以跟踪spout中传入的ack。如果没有元组被挂起了,也就是说,所有的ack都被接收到了,那么你就知道所有的事情都被完全处理了。