[科普中国]-空间科学数据中心

中国空间科学数据中心简介定位与使命

空间科学数据中心是面向科研教育、社会发展和国家安全等提供空间科学数据资源服务和信息技术服务的科研部门，是国际科学理事会（ICSU）所属的世界数据系统（WDS）组织的正式成员之一。其使命是整合、优化空间科学数据资源，重点实现空间科学数据管理的完整性、系统性和规范化，确保空间科学数据的永久安全和长期可用，提升数据应用的水平与效益。同时开展国际空间科学数据的交换共享，努力成为我国空间科学领域重要的科研基础设施1。

学科方向空间科学数据中心面向空间科学领域，开展科学数据的标准规范、管理建模和共享应用的理论与方法研究，研发日地空间数据的处理、标校、质量控制、融合与产品加工，日地空间信息的表示、组织、管理与互操作，日地空间信息的呈现、挖掘与可视分析，日地空间信息/模式系统集成及面向领域应用的云计算等学科信息化技术，促进e-Science技术在空间科学领域的应用，推动空间科学信息学的发展1。

任务情况空间科学数据中心先后承担了中国科学院空间科学战略性先导科技专项、载人航天、子午工程等空间科学领域的重大科研任务，国家“863”计划、国家“973”计划，中科院知识创新项目，中科院信息化项目，科技部科研基础设施共享平台等多项科研课题。共发表论文三十余篇，合著专著一部。相关科研成果曾获科技进步奖及多项软件著作权1。

数据资源空间科学数据中心的数据资源涉及日地空间物理和行星科学等学科领域，目前共建有13个专业数据库，66个典型数据集，300余种数据产品，数据总量近100TB。

日地空间物理的数据资源涉及太阳观测，行星际辐射环境，磁层观测，地球卫星轨道空间环境，电离层观测，中高层大气观测，地磁地电，地面宇宙线强度，空间环境效应、指数和空间天气灾害事件编目的地基观测数据和天基观测数据。共计11个大类别，66个典型数据集（合）。

作为空间科学先导专项永久的数据中心，随着暗物质粒子探测卫星和实践十号返回式科学实验卫星的成功发射，以及即将发射的量子科学实验卫星、硬X射线调制望远镜卫星、中法合作的太空望远镜项目SVOM卫星、中欧合作的太阳风—磁层相互作用全景成像卫星计划等，还将极大的丰富我们的空间物理、空间天文和空间实验数据资源1。

服务空间科学数据中心（www.cssdc.ac.cn）可为用户提供数据的在线共享、数据产品加工制作、数据分析工具、模式计算、可视化绘制等专业化服务。日地空间系统研究网络、空间科学虚拟观测台和空间科学任务运行官网是空间科学数据中心的主要产品。

1、日地空间系统研究网络（http://starnet.cssdc.ac.cn/）

日地空间系统研究网络提供任务论证分析工具、卫星运行支持工具、空间物理模式、数据分析与通用工具包等学科知识资源和云存储、云计算、科研协同环境等信息化基础设施资源，在科学大数据时代背景下改变传统科研模式，支撑以空间科学先导专项为代表的科学卫星全生命周期各阶段任务，促进科研创新活动成果产出。

2、空间科学虚拟观测台（http://vsso.cssdc.ac.cn/）

空间科学虚拟观测台主要向用户提供从大气热层空间到太阳光球表面的日地空间范围、太阳系空间和宇宙空间发生的基本物理过程等进行观测的各类数据，平台不仅提供常规的数据检索与下载服务，还提供数据格式转换、坐标系转换以及事件关联数据分析等基本的分析工具服务。

此外，作为科技部、财政部认定的国家科技基础条件平台之一的地球系统科学数据共享平台空间科学数据中心，以地球系统科学研究和社会经济可持续发展需求为背景，整合了空间科学与人地关系研究所需的数据资源，开展了空间天气与人类活动相关的专题数据的集成和加工工作，用户可以在线的获取各类数据产品1。

分布式空间数据中心系统介绍空间卫星数据的共享与分析对于开展空间科学研究是至关重要的。 当前世界各国很多空间科学研究机构都拥有海量的空间卫星数据，但是彼此之间的数据共享却并不通畅，往往都是采取相互复制副本的方式进行共享。 这种方法既低效，又浪费大量的存储空间。 而且不同的卫星数据还存在数据格式的问题，由于不同的数据分析软件对数据格式有不同的要求，因此数据格式的转换也带来了很大的麻烦。 此外，卫星数据的绘图分析需要很高的编程知识，这对研究人员是一个很高的要求，非常不利于他们集中精力开展空间科学物理过程的研究。 数据管理系统与数据分析软件不能很好地集成，导致数据管理与分析的脱节。为此，开发一个集成了高效的数据管理以及数据分析功能的系统显得尤为重要。本文结合世界空间科学研究领域中数据管理、 数据分析的需要与数据库、Web Service 等多种计算机技术，提出了分布式空间数据中心系统，实现了空间数据的分布式存储与联合检索。 系统还提供了基于Web Service 方式的卫星数据格式转换功能, 并借助于 MatlabWeb Server 以及 IDL on Net 提供了集成化的在线绘图分析功能，有效地解决了空间卫星数据存储、共享、数据格式转换以及数据分析的问题。 研究人员不用编写数据分析程序即可在集成化的界面中进行数据搜索、下载、格式转换，以及对搜索到的数据方便地开展在线绘图分析工作。

系统主要包括五个部分：卫星数据元数据库、绘图引擎、真实数据、Web Service 提供者以及将这四个部分联系起来的 Web 服务器2。

卫星数据元数据库卫星数据元数据库是构建分布式空间数据中心的关键。 传统的数据中心都是将真实的数据存储在数据库中的，并从此数据库中直接进行数据搜索与下载。 而元数据库存储的只是卫星数据的描述信息，包括其卫星名称、采集仪器名称、数据提供者、精度、所含内容、时间段、下载方式以及数据的 URL 等。 真实的数据并不存储在此数据库中，而是存储在元数据信息中 URL 所指向的位置。 通过对外部开放元数据库，不同的研究机构可以将要共享的数据的元信息添加到元数据库里，并自己维护好可提供下载功能的真实数据服务器，这样就实现了数据的分布式存储，提供了进行多机构数据联合查询的基础，消除了由于拷贝副本而带来的时间以及存储空间的巨大浪费和不便，解决了海量数据存储的问题2。

绘图引擎系统借助于 Matlab Web Server 以及 IDL on Net 设置了绘图引擎，从而提供了卫星数据在线绘图分析功能。
Matlab 是 MathWorks 公司推出的一套高性能的数值计算和可视化数学软件，具有很强的图形功能，可以方便地实现数据的可视化，是涉及数据分析的学科研究中不可不用的工具。利用Matlab 可以较为方便地进行卫星数据绘图。 Matlab Web Server使得Matlab可以支持 Web 应用，随时随地通过Internet将数据发送给 Matlab Web Server，借助 Matlab 强大的计算与绘图功能，获得计算的结果或相应的图形。IDL( Interactive Data Language) 是美国 RSI 公司推出的专为可视化大型而复杂的数据集而设计的语言。 从简单的 2D 绘图和图像显示到利用 OpenGL 硬件加速功能进行交互式的 3D 图形设计，IDL 均可胜任。 IDL on Net( ION) 是 IDL 的一个模块，它将 IDL 这一功能强大的语言和其特定标识逻辑地嵌入到网页中，使得可以在网页中直接显示 IDL 的绘图结果。

绘图引擎上配置了 Matlab Web Server 以及 ION，使得系统可以提供 Web 形式的数据绘图分析功能，并可针对不同的卫星数据选用不同的绘图工具，以简化系统实现。 最重要的是，针对已经添加到系统的卫星数据，在绘图引擎中部署了相应的 Matlab 或者 IDL 绘图程序，包括绘制磁场、电场、频谱分析等的程序。

用户需要绘图时，根据传进来的参数，通过 Matlab WebServer 或者 ION 调用相应的绘图程序进行绘图，并以页面的形式向用户返回绘图结果2。

Web Service 提供者Web Service 是构建新一代互联网分布式系统的基本部件。通过对外发布 API及其接口描述信息, 用户就可以通过 Internet调用其提供的服务。 开发人员只需了解其接口信息，而不必关心其具体实现以及平台特性。 当前，Web Services 正成为应用集成的有效平台。

为了方便开展卫星数据格式转换工作，CDF 办公室发布了一组具有数据格式转换功能的 Web Service:Data Translation Web Service (DTWS), 可以对远程的卫星数据进行格式转换。 本系统集成了 DTWS，从而提供了强大的数据格式转换功能2。

Web 服务器Web 服务器是系统各部分相互联系的纽带，它除了提供基本的 Web 服务功能外，还提供了数据提取服务。 由于一个卫星数据中往往包含了很多分量，例如磁场、电场、组份等，而研究人员可能只想下载其中的某些分量。 系统通过在 Web 服务器上部署数据提取程序满足了这种需求。 这些程序都是以 CGI 的方式部署在 Web 服务器上的，根据不同的命令参数，会调用相应数据提取程序2。

系统的工作流程首先，各个参与合作的科研机构将自己要共享的数据的元信息添加到卫星数据元数据库。 研究人员通过在浏览器里输入检索参数进行数据检索，检索参数将会被提交到元数据库进行查询，并向用户返回符合条件的数据的描述信息以及数据的URL。 用户要下载数据时，只需点击该数据，用户的浏览器就会根据该数据的 URL 与真实数据所在的服务器直接建立链接并下载数据。 这样就实现了在统一的界面中检索与下载分布在不同的科研机构的数据。 此过程将数据的检索与下载分离开了：在元数据库检索，而从真实数据所在的服务器进行下载，这样既解决了数据存储与共享的问题，又有效地解决了数据下载的网络流量瓶颈问题。

要对搜索到的数据进行数据格式转换时，用户只需点击相应的连接，Web 服务器将提取相应数据的元信息，包括其 URL，并以这些信息作为参数调用 Web Service 提供者提供的数据格式转换服务。 URL 所指向的数据将会被上传到 Web Service 所在的服务器进行格式转换，转换完成后会向用户返回一个结果文件下载列表，用户就可以进行结果文件的下载了。也以设定为将转换结果文件自动发送到用户的电子邮箱，这样用户就不用等待转换过程的完成。

当用户要对检索到的卫星数据进行绘图分析时，绘图命令以及相关参数会经由 Web 服务器被传送到绘图引擎，绘图引擎根据接收到的元数据信息，先从真实数据所在服务器处下载数据，然后根据绘图参数调用相应的绘图程序进行绘图。如果数据格式不符合程序要求，绘图引擎会自动调用 Web Service 提供者提供的格式转换服务进行数据格式转换，然后下载转换得到的结果文件进行绘图。 绘图结果将以 HTML页面的形式返回给用户。在此过程中，绘图所要用到的卫星数据并没有下载到研究人员的计算机里2。

原型系统基于以上的研究，以 Linux、Apache、MySQL数据库、Java 以及PHP为软件平台，开发了一个原型系统，实现了数据添加、搜索、下载、数据格式转换以及绘图功能。 在进行数据检索的界面，既可以通过设定时间段，也可以通过选择文件所包含的内容，例如磁场、电场等进行检索。

对检索到的数据，可以选择要绘图的分量，然后点击绘图按钮直接进行绘图，也可以在一个界面中同时对多个数据进行绘图，绘图结果还可以在 GSM、GSE 以及SM 坐标系间进行转换，以便进行对比研究。此外，系统是高度可扩展的，要添加新的绘图功能，只需在绘图引擎中加入相应的程序即可实现2。