如何将数据从hdfs(hadoop)导入elasticsearch?

5kgi1eie  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(268)

我们有一个大的hadoop集群,最近安装了elasticsearch for evaluation。
现在我们想把hdfs的数据带到elasticsearch。
elasticsearch安装在另一个集群中,到目前为止,我们可以运行beeling或hdfs脚本将数据从hadoop提取到某个文件中,然后从本地文件批量加载到elasticsearch。
想知道hdfs和elasticsearch是否有直接联系。我从这里开始读到:https://www.elastic.co/guide/en/elasticsearch/hadoop/current/install.html
但由于我们的团队不是devops(既不配置也不管理hadoop群集),只能通过kerberos/user/pass访问hadoop—想知道这是否可以配置(以及如何配置),而不让管理hadoop群集的整个devops团队在直接连接之前安装/设置所有这些库?
如何从客户端进行?
谢谢。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题