1、第 13 期2023 年 7 月无线互联科技Wireless Internet TechnologyNo.13July,2023基金项目:中国绿发投资集团有限公司科技项目;项目名称:多产业融合下的数据治理体系研究;项目编号:CGDG529000220008。作者简介:王凯(1980),男,山东沂南人,工程师,本科;研究方向:信息化建设管理,项目管理等。基于元数据管理技术的数据标准管理平台设计李昌伟,王 凯,张立博(中国绿发投资集团有限公司,北京 100010)摘要:为统一数据标准,推进企业数据治理工作,强化信息化建设,文章根据数据标准建设现有问题,以元数据为基础,搭建了数据标准管理平台,为数据
2、的有效管理提供平台支撑。文章详细探讨了平台的总体架构、功能架构、技术架构和关键模块的设计,为后续类似研究提供参考。关键词:数据标准;元数据;管理平台中图分类号:TP311 文献标志码:A0 引言 因不同开发商所开发系统的数据标准不一,导致各企业间难以进行数据共享,影响工作效率。可见,为实现新共享时代,数据标准管理的重要性非比寻常1。当前,多数数据标准管理方法和工具多针对单个行业、数据源或企业,即使是管理机制较成熟、管理方法和工具较多的金融行业也缺少面向各行业、跨越多种数据源的数据管理方法和工具2-3。从原理看,业务元数据是数据标准本体,从业务元数据出发管理数据标准可从本质上解决数据标准管理平台
3、难落地的问题。基于此,本文将基于元数据搭建数据标准管理平台,以期为数据共享提供理论支撑。1 数据标准管理平台的总体设计1.1 总体架构 现有数据标准管理问题包括4:(1)认知不足,站位不高,难以理解数据标准对实施信息战略和管理水平提升的重要性,积极性不足;(2)各单位工作目的和时间等不同,导致系统间同类数据的分类、信息及定义等均不同;(3)各系统、部门中虽然有多个数据主题在流动使用,但关注度及使用频率等不同,导致数据归属不一;(4)数据治理时,因数据业务处理中所遇到数据问题不同,导致业务流程运转及业务发展情况不同,存在业务口径多样、系统功能缺失及信息基础编码不同等问题。针对现有问题,文章搭建了
4、如图 1 所示的数据标准管理体系。1.1.1 企业数据标准存储 数据标准存储是数据标准系统的核心功能,其对业务与标准的结合、技术和标准的结合等都有影响。以元数据库作为存储方式,并以数据标准作为元数据图 1 数据标准管理体系库的业务元数据,有利于元数据库技术元数据与业务元数据的有效结合。1.1.2 企业数据标准基础管理 企业数据标准基础管理模块包含数据标准的落地检核模块、生命周期管理模块、浏览与查询模块,三者共同构成数据管理系统的基础管理能力。1.1.3 企业数据标准应用接口 应用接口的作用在于让数据标准有效落地,并为各系统提供相应功能。从企业数据标准体系看,数据标准管理平台建设要求有:为企业数
5、据标准咨询及咨询成果提供支撑作用和存储能力、根据现有数据标准管理各类数据、为上层业务应用及管理提供数据标准服务。从数据标准管理平台的对外服务及内在需求上,搭建如图 2 所示数据标准管理平台总体架构。1.2 功能架构 从数据标准应用、存储及基础管理 3 个模块设计数据标准管理平台的功能架构5,具体如图 3 所示。在企业数据标准存储模块中采集技术元数据和数据标准后,即可通过各类元模型将所采集的数据存储到元数据存储库中。数据标准基础管理模块包括标准体系浏览、标准08第 13 期2023 年 7 月无线互联科技软件开发No.13July,2023 图 2 数据标准管理平台总体架构综合查询、标准生命周期
6、管理和标准落地校核功能。标准体系浏览模块提供浏览数据标准的窗口,业务人员在标准体系浏览窗口中找到所需数据标准表述术语、值域代码等后,即可在标准综合查询窗口中找寻,可有效提高查找准确度;数据标准生命周期管理是数据标准基础管理模块的核心,标准的维护、审批和执行等均由其体现;数据标准落地校核的作用在于映射数据标准,以映射方式检查数据标准执行效果6。数据标准应用模块的作用主要有:统一业务口径 图 3 平台功能架构(使各类日常业务工作均遵守统一的数据标准定义)、辅助数据标准落地(通过检查数据标准落地情况确保数据标准落地)、辅助系统开发(指导设计新建系统模型,确保数据标准与业务系统模型保持一致)、贯通技术
7、与业务(经由元数据结合业务、技术、标准,使业务人员可从数据标准出发明确业务标准)。1.3 技术架构数据标准管理技术架构共 5 个层次,具体如图 4所示。其中,采用 HTML5 技术搭建客户层,以确保客户端兼容各类浏览器;采用 JavaScript/Ajax、Flash 搭建展现层技术架构,确保符合用的户操作习惯,确保数据展现质量;借助 Service 接口以 Json、XML 等方式进行业务层间的通信,以完全分离展现层和业务层;集成层是技术架构的关键,共有两方面作用:一是数据供给作用,包括供给数据标准、技术元数据等;二是数据采集作用,包括各系统间的通信数据等,为确保集成层的高效运作,通过 JN
8、DI 等技术搭建其技术架构;资源层含有各类数据资源,包括数据标准咨询结果、各系统数据库表、数据传输信息,以 Database 数据库搭建其技术架构。2 关键模块设计与实现2.1 元数据管理模块 元数据管理模块共 4 个结构层次,分别为数据源、元数据采集、元数据存储、元数据服务,具体如图5 所示。2.1.1 元数据来源层 元数据来源类型包括库表结构和 ETL 工具。库表结构包括数据库(DB)、ODS 数据模型和集市数据模型的数据库信息、表结构、表信息及模型关联关系等。ETL 工 具 包 括 Mappings、Worklets、Targets 和Sources 等元数据和映射数据等。2.1.2 采
9、集适配器层 为提升系统的操作性和扩展性,便于业务人员连通各类型元数据接口,在元数据管理平台中单独设置采集层。元数据采集适配器可用于各类数据源数据的采集、解析、分析和存储,具备自动化获取和解析元数据的功能。不同类型的数据源对应不同的采集方法,针对异构数据源和较多使用的数据源,分别设计了 ETL 采集器和 DDL 采集器。ETL 采集适配器设计如图 6 所示。此外,数据库采集方式共两种:一是从18第 13 期2023 年 7 月无线互联科技软件开发No.13July,2023 图 4 系统技术架构图 5 元数据管理总体结构数据库管理表中采集的直连采集方式,该方式实时性较强,但需耗费连接池资源,且长
10、期直连对数据库影响较大;二是从数据库定义的语言文件中采集,该方式可有效避免方式单一的问题,对数据库影响较小,建议采用第二种采集方式。图 6 元数据采集设计库表采集适配器的整体流程为:定义语言脚本,制定采集策略,开发文件以匹配数据库所定义的语言脚本风格,形成 Java 类文件,在采集程序中调用该类文件以进行采集8。具体如图 7 所示。图 7 库表采集器采集逻辑流程2.1.3 存储模型层 基于对象建模的思想,元数据存储模型层包括元模型定义模型和元数据存储模型。元模型定义模型通过 OMF 规范定义对象间关系和行为并进行分类,元数据存储模型按元数据类型分类存储数据对象7。元数据存储模型如图 8 所示。
11、2.2 数据标准采集和存储模块 基于数据标准自动化采集、统一管理及强扩展性的设计原则,为实现在数据标准出现结构变化时,只需简单配置即可采集新数据标准而无需改变数据标准存储结构性内容的目的,将数据标准存储划分成如图 9 所示的 4 个主要过程。2.2.1 数据标准模板 数据标准模板可为数据整理提供指引,可采用Excel 形式作为模板,具体如表 1 所示。2.2.2 数据标准元模型 数据标准模板需经元模型采集才可进入数据标28第 13 期2023 年 7 月无线互联科技软件开发No.13July,2023图 8 存储模型图 9 数据标准存储过程 表 1 数据标准模板分类一级分类二级分类个人机构企业
12、分类说明资格条件为自然人、目的为购买公司服务和产品、与公司发生业务关系的个人我国境内依法设立的企事业等 各 类 组 织机构我国境内 登记注册的 营利 性 经 济组织准管理平台。从数据标准定义看,数据标准元模型主要包括主题元模型和公共代码元模型。主题元模型强调主题的表达,包括主题分类和信息项元模型等,公共代码元模型则强调公共代码和代码值。3 结语 统一数据标准是提升大数据时代数据管理能力的必经之路。数据标准管理平台旨在助力尚未进行数据治理的企业巩固治理根基,实现数据标准化建设目标,这将为后续数据安全及质量提升等工作打下牢固基础,并为扩展新业务系统提供统一规范,对提升数据共享有重要意义。参考文献1
13、白丽锐,杨友朋,王春新.数据标准化在电力物联网综合业务平台的应用J.物联网技术,2013(8):41-45.2陈恒有.中国金融业行政管理制度研究D.北京:首都经济贸易大学,2012.3蒋东兴,郭大勇,罗念龙,等.清华大学新一代数字校园建设规划与实践J.厦门大学学报(自然科学版),2007(增刊 2):173-178.4王丹,李俊,肖琴,等.高校智慧校园数据标准规划与实践研究J.无线互联科技,2022(20):30-32,48.5张晓钧.基于 CWM 的元数据管理系统在电子政务中的设计和实现D.上海:上海交通大学,2012.6喻姣,黄安琪,袁新辉.高校数据平台建设与数据治理实践J.中国教育信息化
14、,2021(21):48-52.7张朔.基于元数据的开放政府数据整合研究D.太原:山西大学,2021.8周炜.大数据视域下高校数据治理优化路径研究J.教育发展研究,2021(9):78-84.(编辑 王雪芬)Design of data standard management platform based on metadata management technologyLi Changwei Wang Kai Zhang Libo China Green Development Investment Group Co.Ltd.Beijing 100010 China Abstract In
15、order to unify data standards promote enterprise data governance and strengthen informatization construction.According to the existing problems of data standard construction based on metadata a data standard management platform is built to provide platform support for effective data management.The overall architecture functional architecture technical architecture and design of key modules are discussed in detail to provide reference for subsequent similar studies.Key words data standards metadata management platform38
