我想从日志中测量方法调用所花费的平均时间。在任何时候都有多个请求发送到方法，并且我记录了方法调用的开始和结束的时间戳。我还拥有线程id，以便跟踪每个调用。使用hadoop最简单的方法是什么？我正在使用flume来捕获数据。可以使用pig脚本、solr cloud、spark或其他工具。