目前全国大部分运营商的流量采集系统是由国外专用软硬一体化设备实现，设备供应商少、可选择范围小、价格昂贵且维护力量薄弱。随着宽带战略的——————————
收稿日期：2019-06-29
推进，城域网流量年增长率达到30%，流量采集系统的建设成本越来越高，而运营商却无直接的经济收益。广东联通现有的流量采集系统由国外专用软硬一体化设备件实现，其设备能力已远远达不到考核要求。
基于此需求，本文提出一种软硬件解耦解决方案，采用X86通用服务器与纯软件方式结合，实现城域网FLOW流量数据采集，并通过大数据平台实现各类应用分析。在原有功能基础上，结合DNS日志，扩展实现CDN流量流向分析。该方案中的存储及分析平台利用大数据技术有效解决系统性能及功能的可扩展性问题，大大降低流量采集系统的建设成本。随着业务需求的增长，通过增加通用服务器即可实现性能
82
2019/09/DTPT
贾照娜，朱友芬，冯铭能，王欣数据通信
城域网流量采集系统解耦化研究及应用DataCommuincation
的平滑扩充，通过增加软件模块即可实现功能的灵活扩展。
2基于软硬件解耦的城域网流量采集系统
2.1系统架构
LINUX软硬件解耦流量采集系统使用操作系统，采用纯软件方同时可实现对式X86实通用服务器及
现对城DNS域网BGPFLOW、SNMP流量数据的高性能采集，等其他数据源的数据采集。经过论证分
、析及测试，广东联通采用的系统总体架构如图1所示，数据采集完成后，通过HADOOP大数据平台进行存储及多维度分析，然后通过数据处理平台进行融合分析后，实现对应用功能的高度支撑。
应用应用分析流量流向接口流量异常流量其他应用功能FLOW区域快速数据分析流量匹配数据DNS路由去重处理数据分析日志融合算法数据异常流量数据分析实时检测分析数据排序引擎路由数据异常流量数据精确分析规则平台大数据存储及实时分析平台数据采集NETFLOWSNMPBGPFTP接口数据源路由器FLOW设备MIB路由表BGPDNS析日志解其他数据图1系统总体架构图
2.2部署方案
广东联通城域网流量采集系统部署方案如图2所示，分为流量采集服务器与数据分析服务器2部分，其中流量采集服务器主要负责采集数据，数据分析服务器主要负责分析数据并将结果呈现出来。
目前广东联通的数据采集接口包括FLOW流量数据采集接口、SNMP管理信息采集接口、BGP路由信息采集接口、DNS解析日志采集接口，也可根据业务需求开通与号线、IDC用户的数据采集接口。
3流量采集实现技术手段
3.1软硬件解耦
在X86通用服务器+LINUX操作系统的平台上部
分析服务器
NETFLOW流记录DNS
流量采集服务器
IBGPSNMP
日志
SYSLOGSESSION
流量清洗系统
DNS解析日志城域网1城域网2城域网3城域网n
广东联通省网/城域网
图2广东联通流量采集系统部署方案
署流量采集软件，替代传统的软硬一体化设备，以实现城域网流量数据的高性能采集。
采集流程如图3所示，城域网设备在转发数据流的同时，根据设备的配置，实现对数据流的采样、统计，生成FLOW流量日志，并通过通信协议将FLOW流量日志发送至流量采集系统；根据城域网设备厂商及配置的不同，NETFLOWFLOW日志传送协议分为NETFLOWV5集软件完成协议适配、V9、NETSTREAMFLOW、CFLOW/JFLOW日志字段解析并生成文；流量采、本文件传送至大数据平台，由大数据平台完成后续的应用分析。
路由器NETFLOWV5X86+采集软件服务器流量转发NETFLOWV9协议适配大数流量采样NETSTREAM据模板计算V9分析日志生成FLOWCFLOW/JFLOW字段解析平台日志输出FLOW文件生成图3城域网FLOW流量采集方案
3.2大数据存储与分析
HBASE大数据存储与分析平台采用”框架，如图4所示，FLOW“数据、HADOOP+SPARK+
通过数据采集接口解析后保存在HDFSDNS分布式文件系
日志分别统，BGP路由数据使用QUAGGA并通过IBGP协议采集并保存至MySQL数据库。所有数据通过SPARK分布式运算平台进行分析后，保存结果至HBase数据库及MySQL数据库。
邮电设计技术/2019/09
83
贾照娜，朱友芬，冯铭能，王欣
DataCommuincation城域网流量采集系统解耦化研究及应用
数据通信
FLOBDWGN路P日S数由志据采集数据实时采集FLOW日志采集Quagga模块FTP中间数据存储TXTMySQLTXTHDFS分布式存储流数据计算SPARK分布式运算平台结果存储HBase结果存储MySQL图4大数据存储及分析平台
通过分布式数据存储和实时处理，系统性能和功能都具有高度的可扩展性。
4应用场景
CDN针对运营商网络中使用独立服务器资源的服务商，结合DNS日志、FLOW流量数据、BGPCP/SP/
由数据，分析其特定区域的服务器流量流向分布或特路
定区域的客户至指定CP/SP/CDN流量流向分布，评估流量本地化效果，或者将分析结果作为CP/SP/CDN流量调度优化的依据。
在实际网络应用中，当某城域网用户持续稳定地访问某热点资源，而该热点资源又不在本城域网内时，则可以通过CDN的方式将该热点资源引入本城域网。考虑到业务需求和建设成本，初期可将CDN服务器设置在本城域网核心节点，并上联至CR，后续可根据业务发展情况、网络和机房资源，将CDN下沉至汇聚机房，并上联至BAS，如图5所示。这样一方面可以减少业务流量传输路径，减少丢包、时延，实现用户就近访问，保证服务质量，提升用户感知；另一方面可大幅减轻城域网和核心CDN节点的压力，有效支撑网络规划与优化。
5结束语
广东联通率先使用X86通用服务器和纯软件相结合的城域网流量采集系统，该方案为行业内首创，打
84
2019/09/DTPT
169骨干网
169骨干网
区域CDN
CRCDN下沉区域CDN靠近用户
CRBAS
边缘CDN
BASOLT
OLT
图5CDN节点下沉示意图
破了国外技术垄断，进一步提高了国家信息安全的可靠性，推动了国内企业在网络流量分析领域的发展。软硬件解耦后的城域网流量采集系统在性能、成本和扩展性方面明显优于传统专用系统，并可有效支撑面向应用的城域网流量多维度分析。
参考文献：
1］谢喜秋，梁洁，彭巍，等.网络流量采集工具的分析和比较［J］.电
信科学，2002，18（4）：62-66.
2］倪冰，陈运清.IP城域网流量监测方法及网络流量模型［J］.吉林
大学学报，2009，27（6）.
3］陈宏.城域网网络流量监测方法及实际应用场景［J］.中国新通
信，2014（24）：25-26.
4］曹平.基于数据挖掘技术的网络流量分析预测系统研究［J］.软件
导刊，2012，11（5）：100-102.
5］汪文杰.一种网络流量分析工具［J］.数字技术与应用，2017（10）：6］潘亮，77-78.
张勇.网络流量分析系统技术研究与实现［J］.科技资讯，7］卢佳佳，2008（1）陈榕：74-74..IP城域网流量预警模型研究［J］.计算机与现代化，8］熊伟，2012（11孟新予）：194-196..IP城域网流量预测模型分析［J］.移动通信，2015
（17）：63-67.
9］梁立京.IP城域网出口流量预测方法［J］.电信技术，2014，1（10）：10］程小芳115-119.
.IP城域网流量流向分析［J］.通信与信息技术，2012（5）：11］林秀47-50..NetFlow技术在IP城域网流量分析中的应用［C］//中国通信
学会信息通信网络技术委员会年会.2003.作者简介：贾照娜，毕业于北京交通大学，工程师，硕士，主要从事数据网络的相关咨询设计工作；朱友芬，毕业于南京邮电大学，工程师，硕士，主要从事数据网工程项目管理工作；冯铭能，毕业于中山大学，高级工程师，博士，主要从事数据网络的相关咨询设计工作；王欣，毕业于华中科技大学，高级工程师，学士，主要从事数据网络的相关咨询设计工作。［［［［［［［［［［［
因篇幅问题不能全部显示，请点此查看更多更全内容