python解析netflow數據到csv的流程詳解

python解析netflow數據到csv

本文主要講解了linux下通過tcpdump抓取netflow數據包，并將其導入到wireshark進行解析，然后通過wireshark導出數據為json文件，再通過python腳本將其解析為csv文件以便做數據分析。

使用linux自帶的tcpdump抓包

在linux的shell下使用tcpdump包抓取指定端口下的數據包，netflow流量的端口默認為9996端口。

tcpdumpudpport9996-wnetflow_data.cap

在shell打上該命令linux便會開始抓包，按Ctrl+C則會停止抓取并將數據寫入netflow_data.cap文件，由于netflow的數據量特別大，所以如果沒有過濾出指定ip的netflow流量，建議不要取太長時間（毫不夸張的說，一個大型企業的netflow流量10分鐘的netflow數據往往可以使這個文件達到好幾個G，解析成json文件后甚至達到幾十G，這已經遠遠超出了一般程序可以解析處理的范圍）。

可以先使用

tcpdumpudpport9996|grepxxx.xxx.xxx.xxx

測試檢查是否可以獲取對應的數據，如果長時間沒有響應，這表明數據數據包可能沒有到達本端，需要檢查設備配置或者防火墻策略。

在linux下使用該命令可以查看對應端口下的數據包，通過grep可以過濾出自己的想要查看的ip

將抓好的包導入wireshark

抓取下來的包直接用wireshark打開（windows版和Mac版都可以）。如下圖所示：




如下圖所示，隨便點擊一個數據包

將數據導出為json文件

在wireshark中導出數據到json文件，以便于我們使用python對數據進行解析。

解析數據到csv

將導出好的json文件上傳到安裝了python環境的終端上（例如Linux或Mac），與如下腳本（腳本名稱netflow_to_csv.py）放置在同一目錄下

#_*_coding:utf-8_*_

importjson

data_file='./data.json'#wireshark導出數據
output_file='./netflow.csv'#解析后文件名

withopen(data_file,'r')asf:
data_list=json.loads(f.read())


defget_the_flow_list(data_item):
'''
["Flow1":{
"cflow.srcaddr":"xxx.xxx.xxx.xxx",
"cflow.dstaddr":"xxx.xxx.xxx.xxx",
"cflow.protocol":"2",
"cflow.srcport":"0",
"cflow.dstport":"17",
"cflow.inputint":"5",
"cflow.outputint":"0",
"cflow.octets":"36",
"cflow.packets":"1"
},
"Flow2":{
"cflow.srcaddr":"xxx.xxx.xxx.xxx",
"cflow.dstaddr":"xxx.xxx.xxx.xxx",
"cflow.protocol":"2",
"cflow.srcport":"0",
"cflow.dstport":"17",
"cflow.inputint":"5",
"cflow.outputint":"0",
"cflow.octets":"36",
"cflow.packets":"1"
}
]
'''
cflow=data_item.get('_source').get('layers').get('cflow')
flowSet_k=[kfork,vincflow.items()if'FlowSet'ink][0]
flow_data_list=[]
#flow_list=[{f:v}forf,vincflow.get(flowSet_k).items()if'Flow'inf]
fork,vincflow.get(flowSet_k).items():
if'Flow'notink:
continue
srcaddr=v.get("cflow.srcaddr")
dstaddr=v.get("cflow.dstaddr")
protocol=v.get("cflow.protocol")
srcport=v.get("cflow.srcport")
dstport=v.get("cflow.dstport")
inputint=v.get("cflow.inputint")
outputint=v.get("cflow.outputint")
octets=v.get("cflow.octets")
packets=v.get("cflow.packets")
flow_data_list.append((k,srcaddr,dstaddr,protocol,srcport,dstport,inputint,outputint,octets,packets))
returnflow_data_list


defdomain():
withopen(output_file,'w')asf:
title='No,Flow_id,srcaddr,dstaddr,protocol,srcport,dstport,inputint,outputint,octets,packets
'
f.write(title)
i=0
fordata_itemindata_list:
i=i+1
try:
flow_list=get_the_flow_list(data_item)
forflow_iteminflow_list:
line='%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s
'%(i,flow_item[0],flow_item[1],flow_item[2],flow_item[3],flow_item[4],flow_item[5],flow_item[6],flow_item[7],flow_item[8],flow_item[9])
f.write(line)
exceptExceptionase:
print'template'
printe
continue

if__name__=='__main__':
domain()

運行解析腳本

在shell下運行如下命令即可。

pythonnetflow_to_csv.py

解析結果

最終運行結果如下圖所示：