elasticsearch并行滚动读取以重新索引

hgc7kmma  于 2021-06-21  发布在  Storm
关注(0)|答案(0)|浏览(342)

试图通过storm将一个索引完全处理到另一个索引(中间进行etl)。
我打开了几个平行的卷轴,每个卷轴都使用查询约束指向源索引的一个子集。不能真正利用路由——源索引在一个随机键上有路由,而这个应用程序的要点部分是更改完整索引的物理配置)。这是有效的方法吗?
worker基本上创建相互排斥的查询,这些查询一起覆盖整个索引。通过并行读取它们,执行转换,然后批量写入目标,我的目标是实现最大吞吐量,但我非常感谢任何见解或建议。我不打算使用storm,但我确实需要一个并行框架来对数据执行任意转换。
据我所知,我不相信这是一个es插件可以/应该做的事情。河流实施听起来更合理,但我很困惑,为什么es到es河流还不存在——这不是一个合理的方法吗?非常感谢。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题