0514-86177077
9:00-17:00(工作日)
打電銷辦理什么卡不會被封號
2.2 網絡流量分析邏輯架構 NetFlow流量分析及異常流量監(jiān)控系統(tǒng)分采集和分析兩 部分,使用通用x86服務器架構,支持物理機和虛擬機部署。 采集部分使用主備機工作模式,符合電信級運營服務 標準,負責采集NetFlow數據流量、動態(tài)路由更新等多種信 息,并具有靈活的擴容架構。 分析部分使用分布式計算的模式,對可組建服務器群進 行并行計算,平滑提升分析能力,可靈活調度計算能力,實 現不同運算速度的主機并行工作。主機故障時計算任務自動 分配到其他計算單元進行處理。 2.3 流量分析系統(tǒng)軟件架構 基于DNS和NetFlow流量分析系統(tǒng)的軟件架構分為:數 據采集層、大數據分析層和分析結果輸出展示層。 (1)數據采集層:采集NetFlow信息、動態(tài)路由數據、 DNS日志數據。 NetFlow信息:網絡設備按照約定的采樣比3000:1,周 期性地向采集系統(tǒng)發(fā)送的NetFlow信息,NetFlow的流信息 包含在UDP報文中輸出。以V5輸出報文為例,每個UDP報 文包含一個NetFlow報文和最多30條流記錄,每條流記錄 包括以下主要字段信息:數據報文的源IP、目的IP、下一 跳地址、源端口、目的端口、TOS、協(xié)議類型、TCP標志 位,以及流中的數據包數、流中的總字節(jié)數、流記錄的起 始和結束時間等關鍵包頭信息。采集系統(tǒng)支持NetFlowV5、 NetFlowV9等常用的多種Flow格式。采集設備接收網絡設備 發(fā)送的NetFlow流數據,每一個流數據保存一行,每行數據 包括:源IP、目的IP、下一跳地址、源端口、目的端口、 TOS、協(xié)議類型、TCP標志位,以及流中的數據包數、流中 的總字節(jié)數、流記錄的起始和結束時間。 動態(tài)路由數據:采集系統(tǒng)通過與網絡設備啟動BGP動態(tài) 路由協(xié)議學習網絡中的動態(tài)路由,采集系統(tǒng)的工作模式為單 向模式,只通過網絡實時輸入路由表,不對外發(fā)布數據。每 采集一條路由保存一行,每行數據包括:目的網段、下一跳 地址、metric、locprf、weight和Path。BGP動態(tài)路由數據的 好處在于,網絡運營商IP地址的范圍是變化的,此外有些沒 有自己網絡的小ISP,會自帶IP接入到某個運營商網絡下, 僅從IP地址有時很難準確判斷IP所歸屬的運營商,而BGP路 由表會根據IP地址路由情況動態(tài)變化,可以準確反映運營商 IP地址的范圍。通過BGP動態(tài)路由數據關聯(lián)IP地址歸屬,可 以保證IP歸屬結果的準確性。 DNS日志數據:采集系統(tǒng)可以實時接收DNS系統(tǒng)的日 志文件,通過與DNS數據關聯(lián)可以將NetFlow數據匹配到網 站域名。每采集一條域名解析日志保存一行,每行數據包 括:源地址、目的地址、源端口、目的端口,以及請求或解 析的內容和解析時間。 (2)數據分析層:NetFlow流量分析系統(tǒng)通過數據分析層 對采集數據進行大數據分析。 分布式文件系統(tǒng)采用的HDFS文件系統(tǒng)。HDFS有高容錯 性的特點,并且設計用來部署在低廉的硬件上;而且其提供高 吞吐量來訪問應用程序的數據,適合NetFlow流數據、DNS日 志信息這些有著超大數據集的應用程序。HDFS放寬了POSIX 的要求,可以以流的形式訪問文件系統(tǒng)中的數據。將BGP路由 表、NetFlow流數據、DNS日志信息保存至HDFS文件系統(tǒng)中。 實時分析系統(tǒng)采用MapReduce和Spark,MapReduce用 于大規(guī)模數據集(大于1TB)的并行運算。概念“Map(映 射)”和“Reduce(歸納)”,及其主要思想,都是從函數 式編程語言借來的,還有從矢量編程語言借來的特性。當前 的軟件實現是定一個Map函數,用來把一組鍵值對映射成一 組新的鍵值對,指定并發(fā)的Reduce函數,用來保證所有映射 的鍵值對中的每一個共享相同的鍵組。Spark適用于數據挖掘 與機器學習等需要迭代的MapReduce的算法。Spark是為了支 持分布式數據集上的迭代作業(yè),但是實際上是對Hadoop的補 充,可以在Hadoop文件系統(tǒng)中并行運行,構建大型低延遲的 數據分析應用程序。 決策分析數據庫用來存儲MapReduce和Spark大數據挖 掘的數據結果,不同于以往的數據庫,決策數據庫不僅保存 Spark分析的結果,而且可以Spark的輸出數據進行迭代分析。 (3)分析展示層:NetFlow流量分析系統(tǒng)分析展示對大數 據分析的結果,并以直觀的圖形表格形式展現給客戶。 針對河南聯(lián)通網絡中重點內容資源及重點CP/SP/CDN 服務商,分析其特定區(qū)域的服務器流量流向分布或特定區(qū)域 的客戶至指定CP/SP/CDN的流量流向分布,評估流量本地 化效果,或者作為CP/SP/CDN流量調度優(yōu)化的依據。 如圖1所示,以運營商A和某大型CDN服務商為例,通過 分析訪問該CDN服務商在運營商A城域網B的服務器的用戶流量 在國內/國際、國內各運營商及在運營商A內部各省的分布,評 估該CDN服務商放置在該城域網的服務器流量本地化效果。 例如分析百度網站域名時,以該網站二、三級域名為輸 入,對河南聯(lián)通DNS日志進行后域名匹配數據挖掘,找出包 含該域名的全部下級域名的服務器IP地址,并可以同時錄入 該資源的多個域名。 通過后域名匹配,可以發(fā)現該網站資源共匹配解析IP地 址136個。 然后將這些IP地址作為輸入,與BGP路由數據進行迭代 分析,得到這些IP地址落地,可以看到這些IP地址的落地歸 屬情況。
標簽:固原 四川 楊凌 咸陽 昭通 焦作 麗江 濟源
上一篇:電話銷售辦理什么電話卡不封號
下一篇:行業(yè)熱門電話銷售不封號電話卡
Copyright ? 1999-2012 誠信 合法 規(guī)范的巨人網絡通訊始建于2005年
蘇ICP備15040257號-8