论时空信息云平台下的空间大数据管理和高性能计算

论时空信息云平台下的空间大数据管理和高性能计算

作者：李少军

来源：《文存阅刊》2017年第01期

摘要：互联网信息技术的发展并促进了智慧城市的建设。传统的地理信息公共服务技术难以适应科技信息社会发展需求，不能在智慧城市建设中发挥出作用。而云计算的产生，并应用到时空信息云平台中，有效地促进了智慧城市的建设，以空间云计算的技术，解决了地理空间管理中的问题，具有较强的计算功能。基于此，本文着重研究时空信息平台下的空间大数据管理和高性能计算两个问题。

关键词：时空信息云平台；空间大数据管理；高性能计算

进入到21世纪以后，人们的生活逐渐实现了信息化，各行各业对于地理信息的需求较大。智慧城市的构建是智慧地球建设中的重点内容，时空信息云平台在先进的技术支持下，应用于空间大数据的管理，以高性能的计算体系，创新社会管理，维护网络安全，加快实现智能测绘地理信息服务。因此，对于时空信息云平台种空间大数据管理和高性能计算的研究，在构建科技中国的进程中发挥着重要的作用。 1.基于时空信息云平台的空间大数据管理 1.1空间大数据特点

基于时空信息云平台下的空间大数据管理，特点突出，具有以下特点：第一，多源异构性。在空间大数据的获取上，其获取空间数据格式在不同技术体系下存在着不同。如，在全球卫星导航技术、卫星重力探测技术、航空航天遥感技术等方面存在着较大的差异性，其具体的格式不同，时相不统一，最终导致了空间数据来源多样化；第二，多时空尺度，空间数据在不同的时段中产生，具有多时空尺度的特点；第三，多分布性。空间数据的生产和管理机制在地域上分布于不同的国家中；第四，空间数据能够在不同的空间参考系下，都能够超过2维空间特性。

1.2空间大数据的关键技术

在空间大数据管理中，包含两个关键技术，其一为分布式文件系统，其二是并行计算框架。

1.2.1分布式文件系统

龙源期刊网 http://www.qikan.com.cn

分布式文件系统对于数据的多元应用具有一定的优势，分布式文件系统能够存储网络数据集群的节点中，文件系统允许网络中的主机直接访问文件系统中的文件。在当今的大数据时代中，谷歌的GFS和Hadoo的HDFS都是该种类型的分布式文件系统，其具体的应用奠定了科技信息社会大数据存储的基础[1]。 1.2.2并行计算框架

空间大数据管理技术中的并行计算框架应用到具体的机损环境中，能够实现任务的分解，将一个任务分解为多个子任务，并且具体的分配到不同的处理器中，实现各个子任务的执行。基于这样的技术应用，能够有效的提升任务规模计算效率。 1.3 DAAS提出

如今的地理空间大数据从内容上主要包含了卫星影像数据、数字高程模型数据、适量数据、三维模型、地名地址数据、数据目录等；从数据表达模型上分析，分为矢量数据和栅格数据；从组织形式上分析，主要包含了非结构化数据、半结构化数据、结构化数据。在空间云计算模式下，将以上技术相互集合，构建时空信息平台的空间大数据服务层DAAS。时空信息云平台DAAS构架在IaaS的基础之上，形成网络集中存储层[2]。 2.基于时空信息云平台的高性能空间计算 2.1高性能计算

时空信息云平台的高性能空间计算主要来自于三方面技术支撑，分别为：芯片技术、虚拟化技术、面向服务架构的SOA、互联网技术。其中芯片技术的性能比并不是固定不变，而是遵循摩尔规律，每18个月其性能提升一倍以上，同时芯片有关的硬件价格逐渐下降，基于这样的情况，使得时空信息云平台中的云计算模式成为了可能。虚拟化技术在高性能空间计算中应用比较广泛，比如，借助虚拟化技术形成资源池，使得云计算在资源提供的基础上，以单独个体形式存在，避免系统其他技术对云计算造成干扰；面向服务的架构技术能够最大程度上的应用IT资源，最为典型的就是软件资源。面向服务架构中用户的业务能够直接的被转换为一种服务模块，该种模块能够通过网络访问的形式，与模块相互衔接。那么实现服务的网络即为互联网。用户能够根据服务模块中的功能直接构建适合自己的商业应用，与传统而行业相比，将诶朱该种形式能够实现服务创新[3]。

传统的高性计算新式，对于超级计算机、物理计算集群等的依赖性较高，自云模式的出现之后，使得高性能的计算服务找到了新的方向。云平台构建下的高性能计算能够以用户为中心，将数据和应用部署在云平台中，结合DAAS技术，满足物理集群高性能计算需求。 2.2在地理国情统计中的应用

龙源期刊网 http://www.qikan.com.cn

地理国情统计在传统的技术下，难以满足社会发展需求。从地理国情本质上分析，其是一个数据密集管理和计算密集管理的过程。在地理国情统计中建立高性能的地理统计分析系统，采用分布式文件系统，从而构建出不同维度、不同指标的统计计算算法，整理出我国地理国情分析综合报表[4]。 结论：

综上所述，在本文中对时空信息云平台的空间大数据管理特点和关键技术进行分析，在空间大数据管理中，包含两个关键技术，其一为分布式文件系统，其二是并行计算框架。时空信息云平台的高性能空间计算主要来自于三方面技术支撑，分别为：芯片技术、虚拟化技术、面向服务架构的SOA、互联网技术。在地理国情统计中建立高性能的地理统计分析系统，采用分布式文件系统，整理出我国地理国情分析综合报表。 参考文献：

[1]宋炜炜.基于时空信息云平台的空间大数据管理和高性能计算研究[D].昆明理工大学，2015.

[2]康俊锋.云计算环境下高分辨率遥感影像存储与高效管理技术研究[D].浙江大学，2011. [3]郑祖芳.分布式并行时空索引技术研究[D].中国地质大学，2014. [4]杨学毅.云平台下时空数据存储与索引机制的研究[D].吉林大学，2016. 作者简介：

李少军，（1975.05.04-），男，汉族，辽宁省盘锦市人，单位：北方工业学校，职称：助理实验师，学历：大学本科，研究方向：信息技术管理与应用