Hadoop流量监测和分析系统




作者:Jun Liu, Feng Liu, and Nirwan Ansari

发表于IEEE Network 28(4): 32-39 (2014)

随着移动终端能力更加强大、移动应用日益丰富和网络带宽的不断增长,移动网络正成为访问互联网的主要途径。为了应对数据流量的快速增长,移动网络运营商必须通过准确的网络流量监测与分析能力对移动网络进行有效的管理和规划。大型网络的流量监测与分析主要依赖三类设备:高速流量采集设备、大容量存储设备和高性能计算服务器。 随着网络流量的快速增长,传统以关系型数据库存储和集中的高性能服务器为基础的网络流量监测与分析系统面临着高速网络产生TB级和PB级流量数据所带来的存储与计算压力,网络管理者们迫切需要一个高效率、可扩展的流量监测与分析系统。了解决这一问题,一些研究者开始将发源于互联网领域的分布式计算技术应用到网络流量监测领域, 这其中最具有应用前景的就是具有高效率、低成本和可扩展性好的Hadoop技术。在本文中,我们首次提出并实现了一个基于Hadoop的高效可扩展的流量监测与分析系统,详细说明了该系统中各重要组件的技术要点,并通过在大规模2G/3G网络中的几个重要分析应用 ,展示了该系统的有效性。

系统结构如下: