lucene和hadoop

qlvxas9a  于 2021-06-04  发布在  Hadoop
关注(0)|答案(2)|浏览(314)

我使用lucene提供索引和搜索文本文件。我可以使用hdfs存储索引文件。

d5vmydt9

d5vmydt91#

交换任务:不要考虑在哪里使用hadoop,而是首先考虑实现项目需要什么。如果您看到您需要hadoop,那么在何处以及如何使用它将变得显而易见。
一个提示。很可能你既不需要hadoop,也不需要lucene本身:solr——在lucene之上创建的搜索服务器——现在已经有了分布式设置,专门为索引和搜索而设计;nutch可以作为solr爬网的前端;tika可以帮助你解析所有类型的离线文件。

ocebsuys

ocebsuys2#

在所有的数据都以lucene文档(lucenecache)的形式准备好之后,lucene就出现了。看来你已经认识卢塞恩了。hadoop的目的是将一个大任务分解成小块。我认为hadoop的第一个用法是收集数据。每个hadoop节点都可以不断地收集数据;创建lucene文档

相关问题