有没有办法在不停止命令行拓扑和编辑正确文件的情况下注入新的url来爬网？我想用elasticsearch做索引器
ljo96ir51#
这取决于您使用什么作为后端来存储url的状态。如果URL存储在状态索引中的elasticsearch中，则无需重新启动爬网拓扑。您可以在本地模式下单独使用injector拓扑将新的url注入到状态索引中。solr或sql模块也是这种情况，但memoryspout+memorystatusupdater不是这种情况，因为它位于jvm中，而不是其他任何地方。你用哪个喷口？
1条答案
按热度按时间ljo96ir51#
这取决于您使用什么作为后端来存储url的状态。如果URL存储在状态索引中的elasticsearch中，则无需重新启动爬网拓扑。您可以在本地模式下单独使用injector拓扑将新的url注入到状态索引中。
solr或sql模块也是这种情况，但memoryspout+memorystatusupdater不是这种情况，因为它位于jvm中，而不是其他任何地方。
你用哪个喷口？