apachenutch将爬网文档写入rabbitmq

bpsygsoo  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(415)

目前,我有弹性索引插件写文件批量弹性。我现在想把它们写到rabbitmq交换。
我试着在弹性插件的write方法中写入exchange,当从本地手动运行时,它起作用,但在hadoop集群中运行时,它不起作用。
我也看过publishrabbitmq插件,但这看起来是以事件为中心的,而不是文档。
有没有一个可用的插件来做我想做的事,或者我需要自己写?

c3frrgcw

c3frrgcw1#

你正在寻找和索引插件类似https://github.com/apache/nutch/tree/master/src/plugin/indexer-solr 但这对rabbitmq有效,目前还不存在。不久前我也为一个客户做过类似的事情,但遗憾的是它不是开源的。
基本上,您需要做的是在从 IndexWriter 只需填写每个方法的实现。
看一看这个 indexer-solr , indexer-elastic 以及https://github.com/apache/nutch/blob/master/src/plugin/indexer-dummy/ 这是最简单的,并且完全作为学习/测试工具提供。

相关问题