一站式地球科学大数据实时计算平台PIE-Engine

导读：

PIE-Engine（PixelInformation Expert Engine）是基于云计算、物联网、大数据和人工智能等一站式地球科学大数据实时计算平台。平台自主构建并行高效的底层架构，全流程业务实时可视，包括无人机、卫星遥感影像等多源数据，虚拟仿真、城市实景三维建模等多维框架，让数据随取随用，为用户提供 “云+端” 、“平台+SaaS”应用模式，助力地球科学应用产业化发展。

正文：

一、背景

随着对地观测技术的发展，海量遥感数据不断涌现，遥感大数据时代已经到来。海量数据的存储、处理与共享对计算机性能提出了较高要求，需要大量的存储与计算资源。云计算基于“按需分配”和“共享资源”的理念，为海量遥感数据的存储、快速处理和分析提供了可能，遥感专用的云计算平台也应运而生。遥感云计算平台的出现直接改变了传统遥感数据的处理和分析模式（数据下载、存储和运算均在本地进行，数据处理分析依赖本地运行的专业软件或代码），降低了遥感数据的使用门槛，极大地提高了运算效率，使得全球尺度、高分辨率、长时间序列数据的快速分析和应用成为可能，已成为研究土地利用、生态、环境和气候变化等地学领域前沿问题的重要工具。

目前国际上主流的遥感云计算平台以国外机构或公司研发的平台为主，如美国的谷歌地球引擎GEE、美国航空航天局的NEX、笛卡儿实验室的Descartes Labs、亚马逊的AWS、澳大利亚的数据立方体Data Cube及德国的CODE-DE。国内遥感云计算平台的建设也在快速推进中，如中国科学院的地球大数据挖掘分析系统EarthDataMiner，多家科技公司如阿里巴巴集团控股有限公司、深圳市腾讯计算机系统有限公司、北京市商汤科技开发有限公司、航天宏图信息技术股份有限公司等也相继投入到遥感云计算平台的研发中。

目前，GEE已提高了注册门槛，国内新用户正常使用该平台越来越难，并且使用过程及处理结果的下载受网络情况影响较大。同时由于GEE没有接入高分、风云等国产卫星数据，限制了国产遥感数据在云计算平台上的应用。国内的遥感云计算平台目前主要以可视化和数据服务为主，不能满足遥感行业对集数据、算力和技术于一体的遥感云计算平台的迫切需要。在这样的背景下，航天宏图针对大数据时代遥感应用在国内面临的问题，自主研发PIE-Engine时空遥感云计算平台，构建共享数据、算法和计算资源的开放环境，实现遥感数据的按需获取以及海量数据的快速处理，以应对遥感大数据时代对信息高效、服务快速的迫切需求，加速推进中国遥感云计算平台的发展进程。

二、PIE-Engine系统架构

PIE-Engine是一套基于容器云技术构建的面向地球科学领域的时空遥感云计算平台，其内部包含自动管理的弹性大数据环境，集成了多源遥感数据处理、分布式资源调度、实时计算、批量计算和深度学习框架等技术。作为构建在云计算之上的地理空间数据分析和计算平台，PIE-Engine通过结合海量遥感数据及计算资源，可供用户在任意尺度上研究算法模型并采取交互式编程验证，实现快速探索地表特征，发现变化和趋势，为地球科学领域的研究提供开放的数据与弹性算力支持。

PIE-Engine的整体架构如图1所示。平台提供的分布式数据计算服务分为两种：实时计算服务，主要负责将计算结果实时显示到前端地图界面或者输出窗口；异步计算服务，主要负责将数据以任务的形式导出。计算服务的执行依赖于平台分布式存储的多源遥感数据以及对这些遥感数据进行处理的算子库。分布式数据存储与访问服务负责多源数据的存储与访问，包括以瓦片形式存储的影像数据、矢量要素数据、元数据以及用户个人数据。遥感数据处理分析算子库则包括了常用的遥感影像处理分析算法，通过这些算子，可以进行简单的数据处理以及复杂的图像运算。

三、代表性功能模块
1、遥感计算服务（PIE-Engine Studio）。采用交互式编程方式进行在线大规模地理空间数据分析与计算，是构建在云计算之上的地理空间数据分析和计算平台。通过结合海量卫星遥感影像以及地理要素数据，用户基于平台可以在任意尺度上研究算法模型并采取交互式编程验证，实现快速探索地表特征，发现变化和趋势。PIE-Engine Studio为大规模的地理数据分析和科学研究提供了免费、灵活和弹性的计算服务。
2、时空数据处理（PIE-Engine Factory）。基于容器和流程编排技术对海量时空数据进行批量自动化处理，是面向国内外主流遥感卫星、航空摄影数据提供标准化产品生产、管理、调度及质检为一体的分布式处理，提供了算法集成、流程编排、并行调度和任务监控，能为气象、水利、北斗等各行业数据处理和专题产品分析制作提供统一接口标准和服务集成平台。
3、智能解译服务（PIE-Engine AI）。基于云端弹性GPU资源的端到端全栈式遥感图像智能解译开发平台，为个人和企业用户提供样本标注、模型训练、模型发布、解译应用及资源共享一站式服务，助力用户构建高效、高精度AI应用。
4、智慧地球（PIE-Earth）。数据驱动、实时感知、多源融合、自主可控，是一款地球科学环境应用可视化产品，实现PIE-Engine云端数据从太空到海底全方位二三维可视化展示与智能分析应用。产品依托于PIE-Engine强大的云存储、云计算、云服务及AI技术，在主流地理信息系统框架基础上，整合数据资源、算法资源及可视化资源，降低应用门槛，减少研发成本，提高研发效率，快速响应行业需求，提供无代码应用、低代码构建、纯代码研发等多层次的应用方式。
5、无人机应用（PIE-Engine UAV）。为用户定制航空影像产品、倾斜三维模型及监测专题产品，以APP+WEB结合的服务模式，实现外业飞行、云端处理无缝统筹管理，融合AI深度学习模型，实现目标智能识别、统计分析，实现高质量常态化监测。
6、SAR卫星应用服务（PIE-Engine SAR）。为用户提供订阅式SAR卫星沉降监测、水体提取等应用服务,
是基于SAR卫星数据提供区域化订阅式的专题产品应用服务平台。对典型区域的典型产品进行持续更新，提供展示案例，并支持用户长期订阅服务，平台可提供月度、季度、半年、年度等监测频次周期性数据产品、专题图和分析报告。
7、混合云底座（PIE-Engine NativeSphere）。全栈的Kubernetes容器云PaaS解决方案，是基于Kubernetes容器化云原生技术，集私有云、公有云和混合云于一体的新型算力网络引擎，整合PIE-Engine各项能力，构建面向地球科学领域的混合云操作系统。
8、北斗分析平台（Beidou analysis platform）。基于云原生技术，搭建智能算力引擎，引接IGS、MGEX、iGMAS全球站点观测数据，进行卫星导航服务性能和观测数据质量评估分析，提供北斗星座可视化、北斗服务性能监测评估、观测数据质量分析、在线工具服务。
9、区块链服务平台（PIE-Engine Blockchain）。构建可信数智经济的基石，基于可信数字共享、分布式身份、智能合约及跨链等技术，聚焦安全可靠的区块链基础设施构建能力，为企业提供区块链应用的快速开发、部署、运维等全生命周期管理和安全可信的区块链服务，实现企业级应用的高效可信协同。

参考文献：
[1]程伟，钱晓明，李世卫，马海波，刘东升，刘富乾，梁军龙，胡举. 时空遥感云计算平台PIE-Engine Studio的研究与应用. 遥感学报，2022，26（2）：335-347
[2]航天宏图信息技术股份有限公司, https://www.piesat.cn/