我需要知道是否有任何方法,我可以转换pcap文件到avro,这样我就可以写Map减少程序avro数据使用hadoop?否则,在hadoop上处理pcap文件的最佳实践是什么?谢谢
yzckvree1#
pcap文件是一组记录,每个记录包含一个时间戳、一个数据包长度字段、“实际捕获和保存的数据包的数据量”长度字段和一个原始数据包数据的非结构化blob。avro文件上说:avro提供:丰富的数据结构。....“原始数据包数据的非结构化blob”和“丰富的数据结构”不在一起;您必须解析原始数据包数据,与数据包中协议的实现方式和tcpdump/wireshark/其他各种协议分析器的方式相同,将其转换为结构化数据,这样您就可以对数据进行处理。所以,首先,你需要弄清楚你想在这里做什么。你想做什么样的分析?你想处理什么数据包?包时间戳?源和目标ip地址?包中的协议?有什么特别的协议吗?
1条答案
按热度按时间yzckvree1#
pcap文件是一组记录,每个记录包含一个时间戳、一个数据包长度字段、“实际捕获和保存的数据包的数据量”长度字段和一个原始数据包数据的非结构化blob。
avro文件上说:
avro提供:
丰富的数据结构。
....
“原始数据包数据的非结构化blob”和“丰富的数据结构”不在一起;您必须解析原始数据包数据,与数据包中协议的实现方式和tcpdump/wireshark/其他各种协议分析器的方式相同,将其转换为结构化数据,这样您就可以对数据进行处理。
所以,首先,你需要弄清楚你想在这里做什么。你想做什么样的分析?你想处理什么数据包?包时间戳?源和目标ip地址?包中的协议?有什么特别的协议吗?