广西交通运输数据共享交换平台建设研究

作者：***

来源：《西部交通科技》2020年第05期

摘要：文章针对当前广西交通运输行业数据采集加工方式落后、信息沟通不畅、数据共享能力差、数据标准不统一等问题，提出建设广西交通运输数据共享交换平台，介绍了该平台业务、边界、功能及特点，并评述该平台可实现广西交通运输政务数据资源的全面汇聚和实时交换，提高广西交通运输行业工作效率和管理水平，促进数字广西的进一步发展。 关键词：交通运输;数据;共享;交换 0 引言

广西交通运输行业的信息化存在“信息孤岛”“数据烟囱”、重复建设、资源浪费、数据标准不统一、系统协同能力不强等问题，严重制约了数据资源的有效利用和充分挖掘，需要建立一套统一的数据共享交换平台，实现对数据资源的全面汇聚和有效管控。笔者认为通过建设广西交通运输数据共享交换平台，作为广西交通运输行业对内对外的统一基础数据平台，可实现行业数据资源跨区域、跨部门的汇聚、管理、协同调度和实时交换[1]，并提供数据共享与开放服务，为其他信息系统提供横纵向的信息资源共享交换服务。

1 平台业务和边界 1.1 平台业务

广西交通运输数据共享交换平台纵向连接各级交通运输管理部门，横向连接自治区各部门的政务信息资源共享交换体系[2]，能促进广西交通运输行业政务信息资源共享和业务协同，解决广西交通运输行业各级各部门政务信息数据共享交换平台互联互通问题，通过有效的数据质量管控，实现广西交通运输数据的有效汇聚和融合，形成权威的行业基础数据。 1.2 平台边界

（1）按照数据权属，广西交通运输数据共享交换平台对交通运输部共享交换平台开放相应的数据接口，实现交通运输部级平台对相关数据的查询、调用、下载等多种服务;通过级联交通运输部共享交换平台，实现交通运输行业跨省业务数据的共享交互。

（2）依据《广西政务数据资源管理与应用改革实施方案》以及自治区人民政府、自治区大数据局关于政务数据“聚通用”工作的要求，广西交通运输数据共享交换平台级联自治区各共享交换平台，作为行业的共享交换节点，实现不同结构数据资源横向与自治区各政府部门，以及与各地市交通运输管理部门的政务数据共享交互。

（3）广西交通运输数据共享交换平台实现广西交通运输厅本级、厅直属各单位相关业务系统数据资源的汇聚、融合以及共享交换，实现数据资源的统一管理，形成广西交通运输行业统一的数据资源池。

综上所述，平台边界内容如图1所示： 2 平台功能

广西交通运输数据共享交换平台主要建设内容包括信息资源目录管理系统、数据资源管理系统、数据交换管理系统、数据共享管理系统、平台统一维护系统5个应用系统，实现各级各部门之间数据资源的交换共享以及对交通运输行业数据资源的对外开放[3];建设基于Hadoop架构的大数据基础平台，主要实现对Hadoop集群环境的应用服务以及节点机器的实时维护，便于对集群环境更直观地监控;部署ETL工具，实现数据资源的抽取、清洗转换和加载等功能;完成相关数据工程，在业务数据库中构建数据资源池[4]。 平台功能模块架构如图2所示： 2.1 信息资源目录管理系统

建设信息资源目录管理系统，主要实现对汇聚的信息资源进行编目，并通过分类目录和索引，为用户提供快捷直观的访问方式，同时为共享交换管理提供底层服务支撑。该系统实现数据和服务资源目录库的建立、更新、备份与恢复，并支持批量模板导入。实现对信息资源和封装的服务组件建立分类目录和索引，以及对数据和服务资源元数据的编辑和管理功能;实现数据和服务资源目录内容提供者向目录体系注册数据和发布数据等功能。 2.2 数据资源管理系统

数据资源管理系统包括数据源管理和平台资源管理模块，主要实现对所汇聚的交通行业政务数据进行统一管理，为用户提供直观的数据源和平台资源的展示和查询，方便用户查询共享交换平台的数据汇聚情况。

数据源管理模块是数据交换的基础配置，为交换系统提供业务元数据和相关基础数据。所有的数据交换业务必须先建立对应的数据源信息，数据源直接连接业务数据，数据源内容包括：名称、数据源类型、开通状态、所属部门、业务系统名称、联系人、联系方式、服务器IP、端口、连接用户名、密码和连接驱动等，数据源类型支持数据库和文件等。

平台资源管理模块展示了目前共享交换平台汇聚的资源情况，实现对已存在的数据资源进行增加、修改、查看和删除等管理功能，资源类型包括数据库、文件和接口等。 2.3 数据交换管理系统

通过建立规范、统一的数据交换共享机制，满足广西交通运输行业各业务系统、各部门间形成数据双向流动以及数据资源的同步更新。参照《国家政务信息资源交换体系标准》，并结合交通运输行业横纵向数据交换的需求，建设数据交换和共享管理系统，实现交換通道申请与审核、交换通道规则管理、交换通道任务管理、交换日志管理等相关功能。

交换节点是通道的基本组成单元，每个节点管理自己相对应的数据源信息。节点通过注册、验证才能建立交换通道，注册内容包括：节点名称、节点编码、所属部门、节点IP、节点Mac地址、授权码等。节点注册完成后，系统根据节点Mac地址生成对应的授权码用于安装校验。

系统用户通过申请交换通道实现业务系统之间数据交换，申请内容包括：交换相关节点、更新频率、限制条件（如某区域、某时段）等。周期性交换通道只需申请一次，临时性交换通道按需申请。

数据交换后台在执行数据交换作业时，对任务执行日志进行统一记录管理，方便掌握各交换通道的详细执行记录。

2.4 数据共享管理系统

数据共享管理系统主要包括共享管理和共享门户模块。共享管理模块实现部级应用系统、各省交通运输管理部门、自治区各级交通运输管理部门、自治区共享交换平台上的其他政府部门（如公安、安监、文旅、市场监管等）相互之间数据共享服务的管理工作，包括共享资源发布、共享审核、规则设定和共享信息管理等功能。

共享门户模块，主要面向行业及其他政府部门用户，提供统一的资源门户，实现资源目录的查询浏览和共享资源的检索申请服务。共享门户是面向行业及其他政府部门用户，基于数据资源目录实现查询、浏览以及共享数据资源的浏览、搜索、共享申请等功能。用户可通过数据共享门户进行注册，实现数据资源的申请、浏览、下载。 2.5 平台统一维护系统

平台统一维护系统主要包括用户及权限管理和统一应用中心模块。用户及权限管理模块实现平台用户的统一认证及用户的应用与数据权限管理。另外，提供交流反馈板块，针对用户在共享门户使用过程中出现的问题实现及时答疑和处理，增强平台的友好度和易用性。 统一应用中心模块将不同的业务系统访问页面进行整合，基于单点登录简化用户的操作流程，提高用户的工作效率。通过构建一个各级别用户共同使用的统一工作门户平台，整合现有业务系统的访问控制，为各部门、各级基层用户按照各自角色权限提供统一接入点，实现单点登录（SSO），通过统一的应用中心在一个桌面上进行各项申请和审批操作，减少系统使用复杂度。同时应用中心还提供了各类通知通告、动态信息、信息简报等汇总统计显示，以及各类业务信息的播报，使用户获取和使用信息更直接、更方便。 2.6 大数据基础平台

广西交通运输数据共享交换平台技术的创新在于建设基于Hadoop架构的大数据基础平台及其性能优化，提供分布式数据存储、并行数据处理和统一管理维护等能力，除满足海量结构化数据的存储分析，还可以存储海量非结构化数据，如图片、音频、视频、文本等，并且在资源汇聚整合后，大数据平台提供数据分布式计算的能力以及分析挖掘能力。

Hadoop的集群性能取决于其运行环境和平台本身，其运行环境主要包括底层硬件、操作系统和JVM环境，平台自身层面更多是参数和组件服务配置调优，其优化过程需要日常运行过程中结合实际场景和数据特点不断进行调整，是一项持久的工程。在数据存储方面，根据访问频度和存储时长（从进入集群环境开始计算）对数据进行温度分层，由高至低的数据分别为热数据、温数据、冷数据和冻数据，热数据和温数据优先存储于运算能力较强的节点，冷数据和冻数据更多存储于性能较弱的节点。通过Hadoop的跨层数据流传输机制，对温度变化的数

据块进行跨层的转移。通过数据分层机制，让计算资源更集中地处理热数据，提高资源的利用率。

在数据传输方面，由于Hadoop频繁地在各节点间传输数据，需要高效利用宽带资源，可通过增加通信线程数、增加数据缓冲区、提高数据密度、优化数据序列化机制、优化通信协议、优化数据压缩算法、优化数据校验算法等措施提高整体IO性能[5]。 2.7 ETL工具

部署ETL工具，实现分散、零乱、标准不统一的数据的清理和整合。 2.7.1 数据抽取模块

实现从源系统中抽取所需的数据，源系统的数据是数据共享交换服务的主要数据来源。 2.7.2 数据清洗转换模块

按照数据规范标准的要求，进行数据的转换、清洗、拆分、合并等处理，保证来自不同系统、不同格式的数据的一致性和完整性。 2.7.3 数据加载模块

将数据源系统中抽取、转换后的数据加载到数据中心。 3 平台特点

（1）满足多源异构数据采集汇聚的需求。广西交通运输数据共享交换平台支持结构化、半结构化、非结构化等多类数据源的对接与采集，支持不同类型的数据转换清洗，并支持集中调度监控功能，确保数据“采得进”“监控得到”。平台可面向新旧业务系统，多种不同类型数据源通过接口方式进行数据融合，系统自身无需做任何调整，只需按照平台所需数据范围通过不同接口方式增量上报于数据共享交换平台前置节点Agent即可，对关系型数据库、数据接口、文件、大数据文件系统、FTP文件服务器等异构数据源可进行统一采集融合。

（2）实现信息资源目录与共享管理联动。为广西交通运输行业数据资源提供统一的编目管理功能，实现资源目录到共享门户的发布，实现目录与平台资源的绑定，提供多类数据共享方式，并进行统一的审核管控，有效保障数据在业务管理、领导决策、公众服务和数据自助服务中得到充分应用。

（3）实现多节点与交换通道的统一管理。支持不同种类數据资源的录入管理以及平台资源的罗列呈现，实现交换节点的远程管理，支持远程更新，支持多类通道管理与传输监测，确保数据交换任务的合规、安全、稳定。

（4）结合数据工程，不断探索适用于广西交通运输行业政务数据共享交换的规范指引，在实践中不断提升平台使用、数据汇聚整合的标准性。 4 平台运行效果

（1）广西交通运输数据共享交换平台完成了广西交通运输行业相关数据汇聚和整合，挂载包括道路运输行业涉及相关的人车业户业务许可、证照、备案、线路等数据共1750余万条;客运站场、道路客运票班线、道路客运票务信息共210多万条;汇聚水路运输相关的许可、证照、备案和档案等数据1.5万余条;水路客票详单信息3千余条;PDF版式文件74万余个。 （2）在广西政务数据“聚通用”应用中，相关基础政务数据按要求同步挂载至自治区共享交换平台，共计挂载接口资源数7个，库表资源数17个，文件资源数302个，数据库数据1960余万条;汇聚行政处罚监管行为数据41万余条、监管对象数据10万余条，推送国家“互联网+监管”平台监管行为数据35万余条;推送电子证照总库结构化数据78万余条、PDF版式文件74万余个。

（3）在部省数据共享方面，按照交通运输部的部省水运政务数据共享工作相关要求，通过级联交通运输部共享交换平台完成国内水路运输经营许可证、国内船舶营业运输证、国内船舶管理业务经营许可证等11项数据的共享，并完成水路运输相关的许可、备案和档案等1.5万余条水运政务数据的汇聚和推送。

（4）结合自治区新型冠状病毒感染肺炎疫情防控工作领导小组指挥部和交通运输部相关要求，完成高速公路卡口联网收费的车辆入桂离桂以及道路水路运输客运售票乘客的相关数据的汇聚和共享，支撑自治区疫情防控指挥部和交通运输部在新冠肺炎疫情管控期间的相关数据需求。

（5）在广西交通运输体系内数据共享方面，实现桂林、梧州、贺州交通运输局智慧交通项目中道路运输人车户以及包车等相关数据的共享交互。 5 结语

广西交通运输数据共享交换平台实现了广西交通运输政务数据资源的全面汇聚和共享交互，为各大交通运输行业应用提供了良好的交换基础，平台的建立可以全面提升广西交通运输信息化基础设施建设和应用水平，有利于推动广西智慧交通建设和数字广西发展。

参考文献：

[1]熊 瑰.浅谈政府数据共享交换平台建设[J].信息通信，2018，2（182）：254-255. [2]周 鸣.基于广西电子政务外网数据交换共享平台的构建与研究[J].华东科技（综合），2018（3）：378-380.

[3]邹 宇，黄 霖.贵州省交通运输数据中心信息资源规划与数据交换共享平台的设计研究[J].计算机光盘软件与应用，2012（14）：27-28.

[4]程 军.政务信息资源共享交换平台研究[J].电子政务，2009（Z1）：120-126. [5]何 刚.基于Hadoop平台的分布式ETL研究与实现[D].上海：东华大学，2014.