我有一个问题，我有各种格式的文件，如pdf，ms word，ppt，纯文本等，都存储在hdfs中。我应该将内容提取到elasticsearch索引中，并为其构建一个全文搜索系统。我读过关于es-hadoop的文章。但我不太清楚在这种情况下我是否可以使用es或apache tika的mapper attachments插件，以及es hadoop是否是实时的（以防我使用它）。
我很好奇，从文档中提取内容到es索引并进行搜索的正确方法是什么。
任何帮助都将不胜感激。
沙钦
我有一个问题，我有各种格式的文件，如pdf，ms word，ppt，纯文本等，都存储在hdfs中。我应该将内容提取到elasticsearch索引中，并为其构建一个全文搜索系统。我读过关于es-hadoop的文章。但我不太清楚在这种情况下我是否可以使用es或apache tika的mapper attachments插件，以及es hadoop是否是实时的（以防我使用它）。
我很好奇，从文档中提取内容到es索引并进行搜索的正确方法是什么。
任何帮助都将不胜感激。
沙钦
1条答案
按热度按时间cbwuti441#
关于您是否使用es-mapper附件插件或apache tika的问题。我建议您使用mapper插件，因为它与elasticsearch集成得很好，可以节省大量的索引开销，并为正在索引的文档添加元信息。
据我所知，es-hadoop不公开流（实时）api。我正在使用es-hadoop和apache-spark，不得不自己使用apache-kafka实现elasticsearch的流式数据。
希望有帮助。