pcap到hadoop上的avro

qnakjoqk  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(428)

我需要知道是否有任何方法,我可以转换pcap文件到avro,这样我就可以写Map减少程序avro数据使用hadoop?
否则,在hadoop上处理pcap文件的最佳实践是什么?
谢谢

yzckvree

yzckvree1#

pcap文件是一组记录,每个记录包含一个时间戳、一个数据包长度字段、“实际捕获和保存的数据包的数据量”长度字段和一个原始数据包数据的非结构化blob。
avro文件上说:
avro提供:
丰富的数据结构。
....
“原始数据包数据的非结构化blob”和“丰富的数据结构”不在一起;您必须解析原始数据包数据,与数据包中协议的实现方式和tcpdump/wireshark/其他各种协议分析器的方式相同,将其转换为结构化数据,这样您就可以对数据进行处理。
所以,首先,你需要弄清楚你想在这里做什么。你想做什么样的分析?你想处理什么数据包?包时间戳?源和目标ip地址?包中的协议?有什么特别的协议吗?

相关问题