如何从Elasticsearch开发工具中自动提取数据?

vd8tlhqk  于 2023-01-04  发布在  ElasticSearch
关注(0)|答案(1)|浏览(220)

我必须每天做两三次以下步骤
1.请登录到
1.转到开发工具
1.通过选择特定查询并按ctrl + enter Query that I have to run来运行该查询
1.选择"bucket"中返回的结果并复制。The yellow markdown in the image is what I have to select and copy
1.然后转到https://www.convertcsv.com/json-to-csv.htm并粘贴结果,以便将其转换为CSV。
1.然后,我可以下载CSV,然后将其导入到Google工作表中,这样我就可以在Looker Dashboard中查看结果。Button to download the converted CSV.
这需要我每天一些时间,我想如果有任何方法,我可以自动化这样的例行程序。
也许一些ETL工具可以执行至少一部分的过程,或者可能是一些更具体的方式来做它与python。
先谢了。
我没有太多的经验,我想做什么,我试图在网上搜索类似的问题,但不能真正找到任何有用的。

v1l68za4

v1l68za41#

我不知道你试过了,但是在“堆栈管理〉报告”里面有一个关于elasticsearch的报告工具。另一方面,你可以使用crontab在服务器上使用其他工具。下面是其中的一些:
1.有点老,但我认为它可以为您工作。ES2CSV。您可以检查docs文件夹中是否有示例。您可以通过文件发送查询,并以CSV格式报告。
1.另一个选项也是我的偏好。你可以使用python的Pandas库。你可以根据this article编写脚本,然后你可以得到一个csv导出CSV。我提到的文章解释得很好。
1.另一个用Java写的a library。但是文档有点弱。

  1. python库的另一个替代品是elasticsearch-tocsv。当我把它和第一个替代品比较时,这个替代品是最近更新的。但是查询示例有点弱。但是有一个详细的article。你可以检查它。
    1.你可以使用elasticdump,它是在NodeJS上编写的,是一个很好的工具来报告来自elasticsearch的数据。并且有一个CSV导出选项。你可以在GitHub页面上看到示例。
    我会尽量找到更多,我会一次又一次地更新这个答案。谢谢!

相关问题