我用纯java和selenium构建了一个多线程web爬行和提取引擎。api中的每个作业在自己的线程中执行，并将其状态提交回api。每个作业还可以包含提取信息（xpth、regex、css选择器）、连接信息（代理凭据）和爬网引擎的挂钩。例如，在保存结果之前单击按钮。这个引擎工作得很好，但现在我想在多台机器上并行运行。我可以用目前的版本（有渠道支持）做到这一点，但我正在寻找改进和技术，使整个事情变得更好，学习一些新的东西。
我找到了akka.io、apachespark、apachemesos和apachestorm，并问自己这些框架中的一个是否可以成为一种技术，我应该花更多的时间研究并在上面重建我的引擎。
事实上，我不理解这些框架的所有区别和优点，但这就是为什么我要问这个问题。他们似乎很相似。
我的意图是建立一个爬行引擎与这些框架之一可能吗？有人建议使用框架吗？为什么？为什么不？