大数据平台在运营商支撑系统中应用

发表时间：2018-09-30T11:20:30.890Z 来源：《建筑学研究前沿》2018年第13期 作者： 张仁发

[导读] 在互联网时代，数据就是金钱。曾经有专业调查显示，各国政府对数据开放提供了新的想法，提出了大数据平台。在

中国移动通信集团广东有限公司湛江分公司 524044

摘要：互联网技术的飞快发展，计算机处理能力也逐渐强大，云计算和数据中心为大数据时代的到来奠定了良好的基础。传统的通信业务已经无法满足人们的需求，在这种背景下，恰当的使用大数据平台能够有效的推动通信行业的发展。本文介绍大数据平台的基础上，结合实际情况，分析大数据平台在运营商支撑系统的应用，从而提高运营商的经济效益。 关键词：大数据平台；运营商；支撑系统 引言

在互联网时代，数据就是金钱。曾经有专业调查显示，各国政府对数据开放提供了新的想法，提出了大数据平台。在调查中显示，很多消费者愿意相信运营商和银行的保密性，将自己的数据交到他们手中使用和处理。运营商赢得了消费者的信任度，对开展大数据平台提供了有力的基础。一家企业拥有数据的规模和应用的能力决定着这家企业的综合实力，对数据的掌控和使用成为这个国家争议的焦点。随着互联网、社交网站、电子商务的发展，各类信息服务正在迅速发展，电信行业的业务呈现出全新的形态。时下非常流行的微博、微信和QQ等通信方式，带来的图片、语音、视频等非结构化数据推动了电信数据量的增长。如何处理好这些非结构化数据，为用户提供最佳的服务成为运营商思考的重点。 一、大数据平台

虽然至今为止，人们对大数据没有给出一个确切的定义，但是对大数据进行了大量的研究发现，对大数据的本质有了新的认知。大数据平台所存储的信息非常大，其处理的数据量达到PE级别。在大数据平台上，数据更新的速度、传输的速度、存储的速度超过传统的方式。大数据平台有着自身的特点，无论是结构、用途还是处理过程都表现出多样性。数据的多样性指的是以下几点：第一点，数据来源非常广，利用传统的方法，企业获得数据的方式主要来源于交易书记，随着互联网和物联网的发簪，人们能够给通过微博、社区等方式获得想要的资源；第二点，数据的类型非常多，主要以非结构化数据为主。在传统的企业中，数据通过以表格、图片、视频等方式来保存；第三点，数据之间的关联性非常强，如果用户上传照片，能够快速的检索到用户的位置等等相关信息。

大数据中宝贵的价值在于能够为人们提供存储和处理大数据的动力。关于大数据时代处理数据理念要全部不要抽样、要高效不要精确，要相关不要因果。基于现在的技术，处理这些大量的数据非常困难。人们对大数据的处理方式都是对静态数据进行处理，对线数据采取实时处理，对图像数据进行综合处理。大数据处理系统的发展趋势主要体现在三个方面：第一方面是数据处理引擎专用化。大数据处理系统必须采用全新的处理体系，使其具有专一性，提高其效率，降低成本，为此，很多互联网企业都在原有的处理系统基础上，研发拓展性能强、通量大、成本低的专用系统；第二方面是数据处理平台呈现出多样化发展。全面的提升传统系统的兼容性，扩展其数据技术的生态环境，使其超良性方向发展；第三方面是数据计算实时化。在大数据平台上，能够对其进行大量的操作，同时，使用的时间非常快，可以缩短到几秒。

要想使大数据平台发挥出应用的价值，必须对大数据的内容进行实时分析和计算。深度学习和知识计算是大数据分析的基础，可视化是数据分析的关键技术，数据分析的结果是大数据呈现的结果。大数据平台处理和分析的最终目标是借助数据分析，帮助人们做出合理的决策。

二、IT支撑能力的规划和建设 2.1系统架构

系统架构根据数据资产运营对IT支撑系统提出的能力要求，在电信行业通常所划分的OSS（OperationSup-portSystem，运营支撑域）、BSS（Business supportsystem，业务支撑域）、MSS（Management supportSystem，管理支撑域）三个域的基础上，新增了ASS（Analysis Support System，分析支撑域）的建设规划，由统一数据接人中心、企业数据中心、数据质量管理中心、能力服务中心、分析应用中心共五大能力服务中心构成。分析支撑域的架构如图1所示。

统一数据接人中心主要引入基于Hadoop架构的云化ETL，利用分布式文件存储降低成本，利用分布式批处理计算提升对数据源ETL过程的执行效率，统一接人来自全网的网络、计费、财务、信令等数据。企业数据中心由传统的经分数据仓库及新引入的MPP分布式数据库组成，利用分布式计算提升高度汇总数据的关联计算的效率，利用Share-nothing架构提升扩容效率。数据质量管理中心负责保障ASS域内外部数据的完整性、准确性、一致性。能力服务中心主要面向上层应用抽象对底层数据操作和基础功能组件能力，为上层应用提供数据及

服务。分析运营中心实现各类应用的“百花齐放”，支撑分析、预测、大数据运营等各种应用。 2.2系统建设方案

根据分析支撑域的建设规划，重点进行了云化ETL、MPP数据库、能力服务中心、大数据运营支撑平台四大系统的建设，实现了从底层数据采集到上层业务运营支撑的整体IT支撑。 2.2.1基于Hadoop技术的云化ETL

ETL（Extract Transform Load）是指数据抽取、转换、装载的过程，是整个分析支撑域的基础。按照具体规则将分散于各业务系统的数据进行轻度汇总后集成人数据仓库，为上层分析应用提供数据支撑。

大数据技术引人前，传统的ETL过程主要基于“小型机+盘阵”的架构。由于与数据仓库中的高度汇总以及面向应用的数据计算共享计算和存储能力，在处理海量数据时出现性能瓶颈。因此引人了大数据的核心技术Hadoop来实现云化ETL的处理。云化ETL相关组件结构如图2所示。

2.3能力服务中心

云化ETL和MPP数据库面向的是数据层面的问题，数据按照一定的规则面向业务领域进行了构建。为了实现数据到知识的转化，需要开发各类分析应用。这个应用开发的过程通常是及其个性化和专业化的，也有不同的开发商专注于某个具体的分析应用领域。出于降本增效的考虑，引人开发商之间的竞争，实现应用的“百花齐放”，因此构建能力服务中心，向应用开发商提供统一的数据服务。能力服务中心具体的功能架构如图3所示，分为展示层、业务层、服务层和数据层。展示层、业务层主要负责展现能力服务资源管理、能力服务使用管理、能力服务管理中心的界面，控制页面跳转。服务层提供统一的开发规范和数据服务，支持多种形式的能力服务组件；提供用户权限、应用权限管理及鉴权机制，确保数据安全性及服务可靠性；引人负载均衡及基于内存的数据缓存机制，提高查询效率，保障服务的及时响应。数据层封装底层数据仓库的操作，包括传统Oracle数据仓库，Hadoop集群和MPP数据库，通过透明数据层访问异构数据库。

图3

2.4大数据运营支撑平台

基于大数据的业务精准营销模型可以抽象为客户（Customer）、产品（Product）、渠道（Channel）、时机（Time）四个要素，强调业务（产品）、客户、场景（时间、空间）及营销等要素协同一体，推动业务（产品）产生增量效益。基于这四要素搭建的大数据运营支撑平台，将系统功能抽象为产品/内容库、客户标签库、营销平台、事件库、营销渠道五元组和大数据运营门户。其功能架构如图4所示。

产品内容库是管理所销售的业务（产品），如流量包、语音包等。客户标签库是指为客户建立标签，定位及适配目标客户，如老年用户、手机阅读用户等。营销平台主要管理营销术语和触发规则。事件库主要管理触发的事件，如进入到WLAN覆盖区域等。营销渠道是对

营业厅、网上商城等渠道进行统一管理，帮助选择合适的营销渠道，保持各渠道数据的一致性。大数据运营门]户则是对五元组进行综合运营，实现在合适的时机，将合适的产品，通过合适的渠道，推给合适的客户，实现营销自动化、智能化、规模化。 三、大数据平台在运营商支撑系统的应用

当前，通信行业的大数据主要围绕通信数据的价值链开展。通信网络中大数据价值链主要包括四个阶段，分别为数据的产生阶段、数据的收集阶段、数据的存储阶段和数据的分析阶段。数据的产生阶段是为了解释数据的产生渠道；数据的收集阶段是为了获取分析信息的收集、传输和预处理；数据的存储阶段是为了能够存储大量的数据，方便管理和存储；数据的分析阶段主要是基于分析方法，挖掘数据具备的潜在价值，提供有力的决策。运营商虽然掌握了大量的数据资源，但是这些数据只能被长时间的存储和，很难挖掘其潜在的价值。传统数据仓储系统无法实现线性扩容，无法实现集中存储管理，存储效率也非常低。为此，传统数据仓库必须升级、改造，才能满足对非结构化数据的处理要求。

在企业中，建立一个庞大的数据运算平台，企业的管理者能够直接控制相关数据，通过实体整合后，企业高层管理者可以通过特殊渠道对数据记性访问，实现数据的灵活性拓展和配置，使投资风险降到最低。

云计算的大数据统一分析平台结合数据库的存储和专业结构等相关功能，建立企业结构化的大数据平台，客户能够借助该平台赚取相应的利润，推动数据驱动业务的发展。 四、完善大数据产业支撑体系

统筹布局大数据基础设施，建设大数据产业发展创新服务平台，建立大数据统计及发展评估体系，创造良好的产业发展环境。

4.1合理布局大数据基础设施建设。引导地方政府和有关企业统筹布局数据中心建设，充分利用政府和社会现有数据中心资源，整合改造规模小、效率低、能耗高的分散数据中心，避免资源和空间的浪费。鼓励在大数据基础设施建设中广泛推广可再生能源、废弃设备回收等低碳环保方式，引导大数据基础设施体系向绿色集约、布局合理、规模适度、高速互联方向发展。加快网络基础设施建设升级，优化网络结构，提升互联互通质量。

4.2构建大数据产业发展公共服务平台。充分利用和整合现有创新资源，形成一批大数据测试认证及公共服务平台。支持建立大数据相关开源社区等公共技术创新平台，鼓励开发者、企业、研究机构积极参与大数据开源项目，增强在开源社区的影响力，提升创新能力。 4.3建立大数据发展评估体系。研究建立大数据产业发展评估体系，对我国及各地大数据资源建设状况、开放共享程度、产业发展能力、应用水平等进行监测、分析和评估，编制发布大数据产业发展指数，引导和评估全国大数据发展。 五、提升大数据安全保障能力

针对网络信息安全新形势，加强大数据安全技术产品研发，利用大数据完善安全管理机制，构建强有力的大数据安全保障体系。

5.1加强大数据安全技术产品研发。重点研究大数据环境下的统一账号、认证、授权和审计体系及大数据加密和密级管理体系，突破差分隐私技术、多方安全计算、数据流动监控与追溯等关键技术。推广防泄露、防窃取、匿名化等大数据保护技术，研发大数据安全保护产品和解决方案。加强云平台虚拟机安全技术、虚拟化网络安全技术、云安全审计技术、云平台安全统一管理技术等大数据安全支撑技术研发及产业化，加强云计算、大数据基础软件系统漏洞挖掘和加固。

5.2提升大数据对网络信息安全的支撑能力。综合运用多源数据，加强大数据挖掘分析，增强网络信息安全风险感知、预警和处置能力。加强基于大数据的新型信息安全产品研发，推动大数据技术在关键信息基础设施安全防护中的应用，保障金融、能源、电力、通信、交通等重要信息系统安全。建设网络信息安全态势感知大数据平台和国家工业控制系统安全监测与预警平台，促进网络信息安全威胁数据采集与共享，建立统一高效、协同联动的网络安全风险报告、情报共享和研判处置体系。 结束语

面对互联网快速发展的今天，运营商传统的模式已经无法满足时代发展的需求，为了扭转当下的局面，可以借助于大数据平台，增加运营商的竞争实力。大数据平台应有到运营商支撑系统取得了非常好的成效，如果大数据平台和社会其他企业的数据联合在一起，将使数据的价值成本增长。 参考文献

[1]廖锋等.大数据技术及在电信运营商IT支撑系统的应用研究2017.4 [2]冯明丽等.基于电信运营商的大数据平台及去IOE应用研究 2011.9