set output logs.txt
set query '<paste value from Discover tab here>'
set es_url http://your-es-server:port
set index 'filebeat-*'
function process_page
# You can do anything with each page of results here
# but writing to a TSV file isn't a bad example -- note
# the jq expression here extracts a kubernetes pod name and
# the message field, but can be modified to suit
echo $argv | \
jq -r '.hits.hits[]._source | [.kubernetes.pod.name, .message] | @tsv' \
>> $output
end
function summarize_string
echo (echo $argv | string sub -l 10)"..."(echo $argv | string sub -s -10 -l 10)
end
set response (echo $query | http POST $es_url/$index/_search\?scroll=1m)
set scroll_id (echo $response | jq -r ._scroll_id)
set hits_count (echo $response | jq -r '.hits.hits | length')
set hits_so_far $hits_count
echo "Got initial response with $hits_count hits and scroll ID "(summarize_string $scroll_id)
process_page $response
while test "$hits_count" != "0"
set response (echo "{ \"scroll\": \"1m\", \"scroll_id\": \"$scroll_id\" }" | http POST $es_url/_search/scroll)
set scroll_id (echo $response | jq -r ._scroll_id)
set hits_count (echo $response | jq -r '.hits.hits | length')
set hits_so_far (math $hits_so_far + $hits_count)
echo "Got response with $hits_count hits (hits so far: $hits_so_far) and scroll ID "(summarize_string $scroll_id)
process_page $response
end
echo Done!
8条答案
按热度按时间idv4meu81#
这是一个很老的帖子。但我想仍然有人在寻找一个好的答案。
您可以轻松地从Kibana Discover导出您的搜索。
先单击保存,然后单击共享
单击CSV报告
然后单击生成CSV
几分钟后,你会得到下载选项底部右侧.
lmvvr0a82#
这适用于Kibana v7.2.0-将查询结果导出到本地JSON文件。这里我假设你有Chrome,类似的方法可能适用于Firefox。
1.命令行- execute
[cURL from step 3] > query_result.json
。查询响应数据现在存储在query_result.json
中**编辑:**要使用
jq
深入到生成的JSON文件中的source
节点:dzhpxtsq3#
如果您想导出日志(不仅仅是时间戳和计数),您有几个选项(tylerjl在Kibana forums上很好地回答了这个问题):
如果你想从Elasticsearch中导出日志,你可能想把它们保存在某个地方,所以在浏览器中查看它们可能不是查看成百上千条日志的最佳方式。这里有几个选项:
k4aesqcs4#
@肖恩的回答是对的,但缺乏细节。
下面是一个简单的脚本,它可以通过httpie从ElasticSearch获取所有日志,通过jq解析和写出它们,并使用滚动光标迭代查询,以便可以捕获前500个以上的条目(不同于本页面上的其他解决方案)。
这个脚本是用httpie(
http
命令)和fish shell实现的,但是可以很容易地修改为更标准的工具,比如bash和curl。根据@Sean's answer设置查询:
在"Discover"选项卡中,您可以单击底部附近的箭头选项卡查看原始请求和响应,还可以单击"Request"并将其用作对ES的查询,使用curl(或类似的方法)查询ES以获取所需的日志。
最终结果是Kibana中与查询匹配的所有日志,在脚本顶部指定的输出文件中,按照
process_page
函数中的代码进行转换。ej83mcc05#
如果你有麻烦,使自己的请求与curl或你不需要自动程序从Kibana提取日志,只需点击'响应',并得到你需要的。
在使用curl时遇到“xsrf令牌丢失”这样的麻烦后,我发现这种方法更容易和简单!
就像其他人说的,点击底部附近的箭头标签后会出现请求按钮。
mefy6pfw6#
Only the Timestamp and the count of messages at that time are exported, not the log information:
Raw:
1441240200000,1214 1441251000000,1217 1441261800000,1342 1441272600000,1452 1441283400000,1396 1441294200000,1332 1441305000000,1332 1441315800000,1334 1441326600000,1337 1441337400000,1215 1441348200000,12523 1441359000000,61897
Formatted:
"September 3rd 2015, 06:00:00.000","1,214" "September 3rd 2015, 09:00:00.000","1,217" "September 3rd 2015, 12:00:00.000","1,342" "September 3rd 2015, 15:00:00.000","1,452" "September 3rd 2015, 18:00:00.000","1,396" "September 3rd 2015, 21:00:00.000","1,332" "September 4th 2015, 00:00:00.000","1,332" "September 4th 2015, 03:00:00.000","1,334" "September 4th 2015, 06:00:00.000","1,337" "September 4th 2015, 09:00:00.000","1,215" "September 4th 2015, 12:00:00.000","12,523" "September 4th 2015, 15:00:00.000","61,897"
6ss1mwsb7#
我试了一下脚本,但总是碰到一些空格或隐藏字符的问题。
我检查了网络(当我在kibana用户界面上时,它只显示原始事件日志),把请求复制为curl,在一个随机的网站上转换为python,然后添加了提取和更新search_after的逻辑,这样我就可以得到不止一个页面的结果。
请注意,这对于CVAT(一个使用Kibana存储其事件数据的计算机视觉图像标记软件)来说有点特殊,但只是在某些API端点与其他Kibana示例不同的程度上。
工作对我来说太痛苦了,我真的认为我应该留下一些东西。
biswetbf8#
当然,您可以从Kibana的Discover(Kibana 4.x+)导出。1.在Discover页面上,单击此处的“向上箭头”:
1.现在,在页面底部,您将有两个用于导出搜索结果的选项
在logz.io(我工作的公司),我们将根据特定的搜索发布预定的报告。