2023年7月19日发(作者：)

一种元数据驱动数据仓库设计与应用

数据仓库技术广泛服务于业界信息系统建设之需求，大数据分布式架构的兴起也促进了数据仓库技术带的发展。文章结合一个应用项目的需求，设计开源技术方案，实施多种异构数据整合、元数据驱动、主题标签及Extjs架构的图形显示。实现了一套可视化的数据仓库系统，用以解决复杂的异构数据以及数据的展示，也为后续的决策支持系统构建和数据挖掘工作提供基础。

标签：元数据；ETL；异构数据；数据仓库

1 引言

随着联入互联网络的发展，主机数、用户数和信息源节点数的爆炸性增长，使数据形式也出现了多样化，不光有结构性的数据，还有许许多多例如TXT文件或者图片视频等非结构性数据类型，但这些分散的数据使人们在信息检索和网络资源管理等方面面临着许多难题。

关系型数据库具有极强的管理能力，数据的安全性高，和可靠的并发机制，一直是结构化数据存储的主流。但各种数据库系统之间的差异，已经所依赖操作系统之间的异构型，严重影响了信息共享和数据交换。

随着应用的不断进步发展，企业已经不能光靠联机事务处理OLAP去应对压力取得行业领先水平，这是他们需要对自身业务的运作及整个市场行业相关的趋势进行分析，做出有利的决策。这时对以往大量的历史数据的使用和存贮就成了势在必行。 但实际企业与企业之间，企业内部各部门之间业务、目标以及操作系统、存储方式的不同必然造成数据上的差异，不能提供有效的信息共享，形成数据孤岛，不能满足管理人员决策分析的需求。传统关系数据库依然不能满足以上需求，这时就需要一种能够适应决策分析的数据环境——数据仓库（Data

Warehouse，DW）。在本文中建立一套数据仓库系统，完成了多种异构数据的整合，简单的BI分析并用图表显示。第二部分讲述数据仓库整体架构思路，第三部分为本套以元数据为驱动系统的具体实施，第四部分文章总结。

2 技术背景

数据仓库是数据分析和决策支持系统（Decision Supporting System，DSS）在当代海量数据背景下产生的技术。是一个面向主题的、集成的、相对稳定的、反映历史变化的结构化数据集合[1]。数据仓库的建设更像一个过程而不是工程，以现有企业大量历史的数据作为积累，进行归纳重组，运算分析，把计策信息及时地交给企业管理层，这才是数据仓库的根本任务。经典架构见图1。

图1 经典数据仓库DW

ETL（Extract-Transform-Load），即从各种异构数据源中抽取数据，并按照