我使用lucene提供索引和搜索文本文件。我可以使用hdfs存储索引文件。
d5vmydt91#
交换任务:不要考虑在哪里使用hadoop,而是首先考虑实现项目需要什么。如果您看到您需要hadoop,那么在何处以及如何使用它将变得显而易见。一个提示。很可能你既不需要hadoop,也不需要lucene本身:solr——在lucene之上创建的搜索服务器——现在已经有了分布式设置,专门为索引和搜索而设计;nutch可以作为solr爬网的前端;tika可以帮助你解析所有类型的离线文件。
ocebsuys2#
在所有的数据都以lucene文档(lucenecache)的形式准备好之后,lucene就出现了。看来你已经认识卢塞恩了。hadoop的目的是将一个大任务分解成小块。我认为hadoop的第一个用法是收集数据。每个hadoop节点都可以不断地收集数据;创建lucene文档
2条答案
按热度按时间d5vmydt91#
交换任务:不要考虑在哪里使用hadoop,而是首先考虑实现项目需要什么。如果您看到您需要hadoop,那么在何处以及如何使用它将变得显而易见。
一个提示。很可能你既不需要hadoop,也不需要lucene本身:solr——在lucene之上创建的搜索服务器——现在已经有了分布式设置,专门为索引和搜索而设计;nutch可以作为solr爬网的前端;tika可以帮助你解析所有类型的离线文件。
ocebsuys2#
在所有的数据都以lucene文档(lucenecache)的形式准备好之后,lucene就出现了。看来你已经认识卢塞恩了。hadoop的目的是将一个大任务分解成小块。我认为hadoop的第一个用法是收集数据。每个hadoop节点都可以不断地收集数据;创建lucene文档