因此，我试图找出如何安装和设置风暴/stormcrawler与es和kibana如这里所述。
我从来没有在本地机器上安装过storm，因为我以前和nutch一起工作过，也从来没有在本地安装过hadoop。。。我想Storm也一样（也许不是？）。
我想开始用风暴爬虫而不是坚果爬行了。
似乎如果我只是下载一个版本并将/bin添加到我的路径中，我就只能与远程集群通信。
似乎我需要根据这一点设置一个开发环境，让我能够随着时间的推移开发不同的拓扑，然后在准备部署新拓扑时从本地机器与远程集群进行通信。是这样吗？
所以当我用maven构建stormcrawler项目时，我需要做的似乎就是将storm作为一个依赖项添加到它？
1条答案
按热度按时间z0qdvdin1#
请参阅youtube上的入门页和教程。
您不需要安装storm，因为您可以在本地模式下运行拓扑，就像使用nutch和hadoop一样。只需从原型生成一个拓扑，根据您的需要进行修改，例如添加es组件并使用-local运行它。请参阅由原型生成的自述文件。
稍后，您将安装storm以从ui中获益，并可能在多个节点上运行它，但作为一个起点，在本地执行它是探索stormcrawler功能的一个好方法。