2023年7月19日发(作者：)

第32卷第1期2013年3月暴雨灾害TORRENTIALRAINANDDISASTERSVol.32No.1Mar.2013叶金桃,王志斌,彭涛,等.基于元数据的暴雨基础数据库系统设计与简介[J].暴雨灾害,2013,32(1):83-87YEJintao,WANGZhibin,PENGTao,uctionanddesignofaheavyrainbasicdatabasesystemonmetadata[J].TorrentialRainandDisasters,2013,32(1):83-87基于元数据的暴雨基础数据库系统设计与简介叶金桃，王志斌，彭涛，冯光柳（中国气象局武汉暴雨研究所暴雨监测预警湖北省重点实验室，武汉430074）摘要：针对气象数据来源多样、格式众多、时序性强的特点，从暴雨资料现状出发，结合暴雨资料共享需求，参考国内外气象科学数据共享相关技术，提出一个基于元数据的暴雨数据库系统设计及实现方法，建立一个以暴雨过程为核心的暴雨基础数据库系统。该系统融合了暴雨过程发生时间段内的各种地面、高空、雨量等常规气象要素资料和雷达卫星、暴雨数值预报资料等非常规气象要素资料，以及地基GPS/MET、微波辐射计、边界层风廓线等暴雨外场监测资料。该系统共享平台作为中国气象科学数据共享服务网的分节点，自2009年正式运行以来，效果良好。关键词：数据库；元数据；气象数据；暴雨中图法分类号:TP311.52文献标识码：Bdoi:10.3969/.1004-9045.2013.01.012IntroductionanddesignofaheavyrainbasicdatabasesystemonmetadataYEJintao,WANGZhibin,PENGTao,FENGGuangliu(HubeiKeyLaboratoryforHeavyRainMonitoringandWarningResearch,InstituteofHeavyRain,ChinaMeteorologicalAdministration,Wuhan430074)Abstract：Aimingatthecharacteristicsofmeteorologicaldatawithmultiplesources,variousformsandstrongtimeseries,andstartingfromthepresentsituationinviewofsharingdemandofheavyraindata,thispaperputsforwardthedesignandrealizationmethodofaheavyraindatabasesystembasedonthemetadatatoestablishaheavyrainbasicdatabasesystemwithfocusontheheavyrainprocesses,referringtome-stemfusesvariousconventionalandnon-conventionalmeteo-rologicaldataincludingupper-airandsurfaceobservations,rainfall,satellitecloudimages,radardataandnumericalweatherforecastonheavyrainrelatedtoheavyrainprocesses,aswellasheavyraindetectiondatafromGPS/MET,radiometer,ringplatofthesystemhasbeenworkingweds：database;metadata;meteorologicaldata;heavyrain引言气象数据是具有强烈时间和空间特征的地球科学数据[1]，其来源复杂、种类繁多、格式多样、表现形式各异且量大，管理起来十分困难。李集明等[2]指出，我国气象科学数据共享存在的主要问题是信息化程度不高、资料处理分析能力较低、面向社会的数据共享服务平台尚不完善。自2001年底国家科技部批复基[3-4]础性工作专项资金项目“气象资料共享系统建设”以来，国家科技基础条件平台——中国气象科学数据收稿日期：2012-08-12；定稿日期：2013-03-05共享服务网迄今运行良好，文献[5]对我国气象数据库系统总体设计作了介绍。国外主要发达国家对其数据共享服务系统，采取适当技术方案；数据管理上，采用数据和用户集中管理，或采用分布式数据存储和统一发布的元数据策略[6-9]。中国气象局武汉暴雨研究所长期致力于暴雨研究，拥有较强的暴雨监测、暴雨机理、暴雨模式和暴雨应用等学科领域的研究力量和技术力量，收集和整理了大量历史暴雨资料；另外，该所在承担《暴雨年鉴》编纂任务的同时，收集整理了各年暴雨过程的准确信息[10-12]。上述工作为暴雨基础数资助项目：公益性行业(气象)科研专项(GYHY201206028)；公益性行业(气象)科研专项(GYHY200906010)；中央级公益性科研院所基本科研业务费专项武汉暴雨研究所1203课题第一作者：叶金桃，主要从事暴雨数据应用研究及开发。E-mail:yejintao@right©博看网 . All Rights Reserved.84暴雨灾害第32卷据库系统建设提供了保障。本文从科研业务人员对暴雨数据需求出发，参考国内外气象科学数据共享相关技术，提出一种基于元数据的暴雨数据库系统设计方法，以此建立一个以暴雨过程为核心的暴雨数据库系统，融合暴雨过程发生时间段内的各种资料，旨在为科研业务人员开展暴雨分析研究提供参考。1需求分析与系统结构1.1需求分析经调查发现，气象科研和业务人员对暴雨数据方面的需求倾向于各暴雨过程时间段的资料获取。据此，该暴雨基础数据库系统(以下简称系统)以暴雨过程为主线，以过程内各种数据资料集合为一数据集来设计。考虑到暴雨数据库系统的现状，以暴雨所有关科研人员多年的研究工作为基础，依托该所购置的大容量存储设备，初步建立暴雨数据库资料收集平台。再考虑数据库所存储的数据情况，地面、高空、全国实况雨量、长江流域12省市加密自动站资料、地基GPS/MET等结构化数据，以二维数据库表的形式存储；雷达卫星数据、数值预报产品和微波辐射计、边界层风廓线等暴雨外场监测资料则以文件的形式存储。数据库管理系统选用Microsoft发布的SQLServer2005关系型数据库系统，其主要用于大规模联机事务处理、数据仓库管理和电子商务应用的数据分析平台。SQLServer2005系统简单易用，具有良好的稳定性和高效性等特征，无论是从气象数据管理的功能、安全性和可维护性考虑，还是在易操作性上，对处理气象数据均有很大优势。1.2系统的总体结构系统整体设计既考虑当前气象科研的需要，考虑将来数据量的扩展，以及提供多种稳定可靠的共享服务方式，要求其易扩展、便于灵活添加各种暴雨资料数据，且安全可靠。因此，采用基于Web的网站服务器—数据库—客户端的三层体系结构。整个系统由数据存储服务器、数据库服务器、Web服务器和客户端四大部分组成。其中，数据库是核心，Web平台是关键，数据存储服务器为数据库提供数据源[13-14]。按各功能模块划分，该系统的整体结构见图1。能是对资料进行收集、预处理以及批量导入数据到数据库服务器。各种原始数据资料也由数据存储服务器保存，以便在特殊情况，如数据库服务器出现故障需要恢复时，能及时全面地往数据库服务器中补传资料，减轻数据库服务器负担。数据存储服务器上的数据以文件方式存储。(2)数据库服务器。数据库是一个存储气象要素或目录的存储系统，它与传输服务器不同的是其存储的不是文件。考虑到本数据库需要对各类气象资料进行海量存储，因而采用SQLServer2005数据库。(3)Web服务器。Web服务器是用户访问数据库的一个窗口。其一方面能保护数据库，控制用户的访问链接，另一方面又为用户提供一个标准的接口，让用户透明地访问数据库，方便用户使用。Web平台是一个单独的服务器，不影响数据库服务器的访问速度，还能为数据库服务器减轻压力。(4)客户端。客户端是指数据库系统的用户。客户端一般采用B/S模式使用该系统，B/S模式主要用于浏览、查询和统计。在广泛调研的基础上，拟建立以暴雨过程为核心的中国暴雨资料数据库，归纳总结历史暴雨过程，跟踪降水量突出或(和)对我国造成重大灾害影响的暴雨天气过程，收集和整理过程内的相关暴雨资料，并将其融合到一个综合显示平台上，提供给用户浏览分析下载。该系统的结构流程见图2。图2暴雨基础数据库系统及其共享平台结构示意图2数据库设计数据库设计，是对于一个给定的应用平台，设计出最优的数据库结构，建立数据库及其应用系统，以数据库表的形式有效地存储数据，满足各阶层用户的信息存储处理需求[15]。数据库设计需规范、周全，能稳定地提供服务。为了保证暴雨数据信息的共享，数据库设计必须保证数据的标准化、规范化。2.1设计策略数据库应用设计，是指数据库中与各种应用相关图1暴雨基础数据库系统整体结构示意图(1)数据存储服务器。数据存储服务器的主要功Copyright©博看网 . All Rights Reserved.第1期叶金桃等：基于元数据的暴雨基础数据库系统设计与简介85的表格和有关的数据库对象设计，表格包括数据表、索引、约束等，以及在数据库中创建、维护这些数据库对象的合理方式。为了实现气象信息共享，根据气象业务、科研和管理的要求，采取统筹规划、总体设计、统一标准、集约建设、分布实施、逐步完善的策略，统一规划暴雨数据库的布局和建设，实现对暴雨数据的高效管理和共享[16]。该系统设计采用如下策略：(1)保证数据库管理系统的高可靠性，暴雨基础数据库数据来自9210卫星通道、国际互联网、内部业务系统和暴雨外场观测数据。(2)系统在规模、功能和运行能力上达到业务化要求。暴雨基础数据存储了从1980年以来的208个暴雨数据集，数据库表存储数据量达65G，数据集数据文件存储量达500G，以满足科研分析系统的数据需求；该系统资料包括长江中游暴雨过程资料数据(含地面观测、高空、雨量资料、欧洲数值预报产品、日本数值模式产品以及部分雷达、卫星云图资料)，长江流域12省市加密自动站雨量资料，“八五”期间暴雨过程加密观测资料，GPS水汽反演资料，暴雨外场基地综合探测资料(微波辐射计、边界层风廓线)和NCEP资料，基本覆盖了与暴雨相关的所有数据种类，具备气象数据库的全面和完备功能；系统采用定时和人工的方式更新暴雨过程资料，暴雨过程发生后一周内更新所有资料，供用户浏览下载，具备业务系统连续运行能力。(3)设计数据库表时，必须为应用开发和数据库访问提供简洁、方便实用的运行环境。(4)数据库的设计，能根据科研需求及底层环境变化而灵活改变。2.2数据的存储方式暴雨基础数据分为结构化数据和非结构化数据。其中，结构化数据包括地面气象资料、高空气象资料、长江流域雨量资料以及GPS水汽反演资料等以文本文件存储的暴雨数据，可用二维数据表来表现；非结构化数据包括气象卫星资料、雷达资料以及数值预报模式产品等不方便用数据库二维逻辑表来表现的数据。对于结构化资料，可对其文件进行分析，采用统一的软件对各要素数据采用二维表直接存储。对非结构化资料，因数据量特别大，对其存储和访问，以文件整体方式进行，如雷达原始资料，抽取其基本描述信息，如存放的物理路径、文件名等，进行管理；对雷达产品，则直接保存图像文件，方便查询和对文件直接下载。表1给出数据存储实例。表1数据存储方式实例数据种类数据库数据元数据数据类型结构化数据非结构化数据静态元数据动态元数据数据内容地面、高空、雨量、长江流域雨量资料、GPS雷达、卫星、预报产品种类、结构、站号、检索策略、时次日期控制元数据存储方式数据库表外部文件索引表数据表数据表2.3元数据库设计元数据是用来描述数据库中数据表的数据，是关于数据库中数据的一些说明性信息。元数据提供一个标准化、一般的描述方法和查询工具给各种类型的存储在计算机中的信息资源[17]。元数据为分布在各个地方的信息资源和有机构成的信息系统提供集成的工具和链接，如气象科学数据库系统。气象数据分布全国各地，种类各异，存储格式复杂多样，因此很难为用户的各种需求提供高效的数据检索和信息处理，元数据则可解决这一问题。元数据在气象科学领域的应用主要是对气象资料数据集信息做一些说明[18]，其数据集信息包括:数据集的编码、名称、主要内容、数据类型、资料要素或项目名称、观测时间、观测方法、统计特性、数据采集起止时间、空间范围、数据表示、数据质量、数据存储介质、格式、数据量大小、使用的语言、数据集及元数据制作者相关信息、数据集存储地点、数据获取渠道、获取方法，以及数据的相关尺度、更新频率和数据制作时的空间参考系及坐标等。暴雨基础数据库中也需要设计元数据表，对一些暴雨数据表内容、数据库表字段、数据集存储策略、暴雨过程基本信息、台站信息、用户使用数据信息、用户基本信息和权限定义等进行说明和描述。暴雨信息元数据主要有三方面的作用:(1)帮助用户在检索数据集时确认所查找的数据为所需要的资源，避免盲目检索查询，浪费时间和精力；(2)描述数据元素，用于对数据集单元内容、相关信息、数据集存储地点、获得方式以及制作与利用方法等相关信息进行完整详细的记录描述；(3)用于对相关资源的存储和使用管理2.4元数据库表结构暴雨基础数据库中除数据表外，还需一些对数据表、字段、台站、用户信息等说明和描述的信息表(即元数据库表)。元数据用来描述和管理各类数据，因此科学、合理、全面的元数据库表结构设计对实现共享系统至关重要。表2列出该系统中部分元数据库表。Copyright©博看网 . All Rights Reserved.86表2序号1234567891数据表名Data_CatalogDS_DESC_InfoDS_File_InfoDS_STOR_InfoDS_Table_InfoELE_InfoMeta_Table_FieldsPROV_InfoSearch_Way_Infopara_heavy_rain_process数据集分类基本描述信息暴雨灾害暴雨基础数据库系统的部分元数据库表实体名用途描述数据集的分类信息描述数据集的基本元数据信息此表主要描述以文件格式存储的数据基本的信息第32卷数据集与文件对应数据集存储策略(方式)描述数据集与表对应要素元数据州/省编码表检索策略信息描述暴雨过程信息表描述数据集的存储方式:t表示以表存放，f表示以文件存放数据集与表对应描述各要素元数据省编码描述检索策略信息描述暴雨过程时间段的基本信息描述“八五”期间暴雨过程时间段的基本信息雨量台站信息地面台站信息此表主要描述以文件格式存储的数据基本的信息数据库用户的一些基本信息描述字段描述表，此表描述各数据库表结构描述表字段信息para_heavy_rain_process_85“八五”期间暴雨过程信息表STN_CHN_RAINSTN_CHN_SURFUsed_Data_InfoUser_Info中国雨量台站信息表中国地面台站信息表用户使用数据信息记录用户基本信息描述2.5实体数据库表结构暴雨过程数据分为结构化数据和非结构化数据，结构化数据以数据库表的形式存储，包括地面气象资料、高空气象资料、长江流域雨量资料以及GPS水汽反演资料等；非结构化数据以文件整体方式存储，数据库表存储其基本描述信息，包括气象卫星资料、雷达资料以及欧洲和日本数值预报模式产品等。表3列出该数据库系统中部分实体数据库表。表3暴雨基础数据库系统的部分实体数据库表序号数据表名Micaps_surf_dataMicaps_upair_dataMicaps_rain_dataMicaps_awscj_dataGps_datareal_satellite_dataec_data_ffjp_data_rainexp85_data_spec中文名称暴雨过程micaps地面资料表暴雨过程micaps高空资料表暴雨过程micaps降水资料湖北省GPS水汽反演资料暴雨过程卫星云图资料欧洲预报中心风场资料日本数值预报雨量资料“八五”攻关特征层资料用途存储暴雨过程内micaps地面资料存储暴雨过程内micaps高空资料存储暴雨过程内micaps雨量资料存储湖北省GPS水汽反演资料存储暴雨过程内卫星云图资料信息存储暴雨过程内欧洲预报中心风场资料信息存储暴雨过程内日本数值预报雨量资料信息存储“八五”期间暴雨过程内特征层资料数据存储“八五”期间暴雨过程内地面加密观测资料数据长江流域12省市加密自动站资料存储长江流域12省市加密自动站资料exp85_data_surf_dens“八五”攻关地面加密观测资料3数据服务与应用为了更好地向气象科研人员提供数据共享服务，基于该数据库系统的查询平台为授权用户提供全面的多维检索查询服务(允许用户按区站号、资料类别、要素和时间等多种方式组合查询)。由于数据集种类不同，查询平台提供的数据查询方式也有所不同，通常有元数据列表形式、分类数据查询、关键字检索等查询方式。基于Web技术的数据检索查询设计，使用Brows⁃er/WebServer/DatabaseServer的三层模式结构。用户打开数据库系统查询平台主页面浏览器，经会员登录系统认证后，可根据导航、关键字查询检索或元数据查询，得到数据集目录，根据数据集目录和描述信息，确定所要查询的元数据的基本检索策略，向Web服务器端提交申请，Web服务器对提交的查询条件语句进Copyright©博看网 . All Rights Reserved.第1期叶金桃等：基于元数据的暴雨基础数据库系统设计与简介87行解析，转换成数据库所能识别的SQL格式的查询语句，并将此语句发送到数据库服务器，数据库服务器收到申请，执行SQL查询语句后，数据库系统根据查询语句给出的条件，对结果进行排序，将查询结果返回给用户浏览器页面，用户便可查看和下载数据。其数据检索下载流程见图3。储方式，方便了科研业务人员查询使用。从文件到数据库，形成一个统一的数据管理平台，便于用户对资料的检索和提取。在资料管理方面，资料更有利于收集、分类和处理，使气象信息的使用效率有了较大提高。该系统还有待进一步完善。如，目前系统查询平台还只是将数据库中的内容以数据形式展示给用户。下一步工作将考虑引进美国UCAR下属机构Uni⁃data程序开发中心(UnidataProgramCenter，UPC)研发的一个专门针对空间信息数据进行可视化和分析的独立应用软件系统IDV，对数据进行二维/三维的图形显示，以此展示给用户。同时，随着气象数据量逐渐增大，其数据库如何优化、海量数据如何存储、数据访问如何更加高效等问题，也值得深入探索。参考文献:[1]秦大河,孙鸿烈.中国气象事业发展战略研究:总论卷[M].北京:气象出图3暴雨基础数据库系统的数据检索流程图版社,2005:26-27[2]李集明,熊安元.气象科学数据共享系统研究综述[J].应用气象学报,2004(增刊):1-8[3]王国复,李集明,邓莉,等.中国气象科学数据共享服务网总体设计与建设[J].应用气象学报,2004(增刊):10-16[4]李集明,沈文海,王国复.气象信息共享平台及其关键技术研究[J].应用气象学报,2006,17(5):621-628[5]李集明,王国复.气象数据库系统总体设计综述[J].气象科技,2007,35(增刊):1-5[6]王昊燕,何小明,臧海佳,等.美国卫星科学数据处理存档系统S4PA综述[J].遥感信息,2010,2:109-113[7]高峰,王国复,孙超,等.后台管理模式在数据共享平台中的应用[J].应用气象学报,2011,22(3):367-374[8]高峰,王国复,喻雯,等.基于策略配置的气象数据库业务监视系统[J].计算机工程,2010,36(16):249-250[9]ormationRepository:AToolforMetadataManagement[J].JournalofDatabaseManagement,1995,2(2):183-l90[10]杨荆安,孟英杰.2008年5-9月我国主要暴雨天气过程[J].暴雨灾害,2008,27(4):378-382[11]廖移山,闵爱荣,杨荆安,等.2009年4-9月我国暴雨天气概述及重要过程浅析[J].暴雨灾害,2010,29(1):96-103[12]闵爱荣,廖移山,杨荆安.2010年4-10月我国主要暴雨天气过程简述[J].暴雨灾害,2011,30(1):90-96[13]王宏记,王海军,曾又枝,等.省级气象信息综合数据库系统的设计与实现[J].暴雨灾害,2008,27(3):283-286[14]李晓波,祝孔强,贾光宇,等.科学数据共享技术平台构想[J].中国基础科学,2003,1:52-54[15]赵芳.气象数据库系统的建设[A]//信息技术在气象领域的开发应用论文集(二).北京：气象出版社，2006:191-195[16]高峰,王国复,喻雯,等.气象数据文件快速下载服务系统的设计与实现[J].应用气象学报,2010,21(2):243-249[17]艾艳,魏延涛,霍锐,等.元数据技术在河南省气象科学数据共享服务中的应用[J].气象与环境科学,2009,32(2):83-86[18]王国复,徐枫,吴增祥.气象元数据标准与信息发布技术研究.应用气象学报,2005,16(1):114-121该数据库系统共享平台数据服务功能包括长江中游暴雨过程资料数据(含地面观测、高空、雨量资料、欧洲数值预报产品、日本数值模式产品、部分雷达、卫星云图资料)，长江流域12省市加密自动站雨量资料，“八五”期间暴雨过程加密观测资料，GPS水汽反演资料，暴雨外场基地综合探测资料和NCEP资料下载，为全国各级用户提供暴雨数据共享服务，也为科研和业务人员对长江中游暴雨研究分析提供支撑条件。基于本数据库系统所搭建的中国暴雨资料共享服务网自2009年正式运行，作为中国气象科学数据共享服务网的分节点其运行效果良好，注册人数已达数百人之多，来自全国各类公益性机构，用户主体为高等院校，其次是科研机构、气象业务单位和行政事业单位。近年来，暴雨过程数据不断更新，在建成初期的基础上新增长江流域12省市加密自动站雨量资料和暴雨外场基地综合探测资料，利用surfer绘图软件对暴雨过程内的雨量资料进行绘图，以图形方式显示。同时，对从1980年以来的201个长江中游主要暴雨过程和7个“八五”期间暴雨过程作了分析，并收集整理暴雨过程内的资料，建立以暴雨过程为核心的208个气象数据集，用户可登录共享服务网下载数据。统计结果显示，近10年暴雨过程雨量数据和GPS水汽反演资料以及数值预报产品的下载次数相对较多。4小结本文利用SQLServer2005数据库开发平台建立暴雨基础数据库，解决了以往以文件方式存储气象资料的格局，以数据库表的形式储存暴雨数据规范了存Copyright©博看网 . All Rights Reserved.