|
数据建模是发现、分析和确定数据需求的过程，用一种称为数据模型的精确形式表示和传递这些数据需求。数据模型有助于组织理解其数据资产。数据可以采用常见的6种模式表示：关系模式、多维模式、面向对象模式、事实模式、时间序列模式和NoSQL模式。按照描述详细程度不同，每种模式又分为3层模型：概念模型、逻辑模型和物理模型。每种模型又包含了实体、关系、事实、键和属性等组件。数据模型包含数据使用者所必需的元数据。 一、概述 1、业务驱动因素 ■提供有关数据的通用词汇表； ■获取、记录组织中数据和系统的详细信息； ■在项目中作为重要的交流工具； ■提供了应用定制、整合、甚至替换的基点。 2、目标和原则 数据建模的目标是确认和记录不同视角对数据需求的理解，从而使应用程序与当前和未来的业务需求更加紧密的结合在一起，为完成数据应用和管理活动奠定基础，如主数据管理和数据治理。数据模型和元数据的一种重要形式。 二、基本概念 1、数据建模和数据模型 数据模型描述了组织已经理解或者未来需要的数据，模型是一种文档形式，用于记录数据需求和建模过程产生的数据定义。 2、建模的数据类型 数据建模通常都基于静态数据建模，包括：类别信息、资源信息、业务事件信息和详细交易信息。部分动态数据也可以建模，比如系统方案等。 3、数据模型组件 （1）实体 实体是一个组织收集信息的载体。下面是常见的实体。 概念模型中的实体一般称为概念或术语，逻辑模型中的实体被称为实体，物理模型中的实体最常见的称呼是表。 在数据模型中，通常采用矩形代表实体。 实体的定义对于任何数据模型所描述的业务价值都有巨大贡献，实体属于核心元数据，实体的定义要具体3个基本特征：清晰、准确、完整。 （2）关系 关系在数据建模图上通常显示为线条。关系通过关系数据库中的外键来表示，在非关系型数据库中通过边界或链接来表示。 在两个实体之间的关系中，基数说明了一个实体和其他实体参与建立关系的数量。关系中涉及实体的数目被称为关系的元数。最常见的有一元关系、二元关系和三元关系。 外键通常在物理数据模型中表示关系，在逻辑数据建模中，有时也用这种方法表示。 （3）属性 属性是一种定义、描述或度量实体某方面的性质。 在数据模型中属性通常在实体矩形内的列表中描述。 4、数据建模方法 常见的6种建模方法是关系建模、维度建模、面向对象建模、基于事实建模、基于时间建模和非关系型建模。 关系模型设计的目的是精确的表达业务数据，消除冗余，特别适合设计操作型的系统； 维度建模专注于特定业务流程的业务问题；面向对象的建模通常采用UML方法；基于事实的建模是一种概念建模语言，不使用属性，通过表示对象之间的精确关系来减少直观或专家判断的需求，使用最广的是角色对象建模；当数据值必须按照时间顺序与特定时间值相关联时，需要用到基于时间的建模；非关系型数据库是基于非关系技术构建的数据库，常见的4类非关系数据库有：文档数据库、键值数据库、列数据库和图数据库。 5、数据模型级别 （1）概念数据模型 概念数据模型是用一系列相关主题域的集合来描述概要数据需求。概念数据模型包括给定的领域和职能中基础和关键的业务实体，也给出实体和实体之间的关系描述。 （2）逻辑数据模型 逻辑数模型是对数据需求的详细描述，通常用于支持特定用法的语境中。逻辑数据模型不受任何技术和特定实施条件的约束。逻辑数据模型通常是从概念数据模型扩展而来。 （3）物理数据模型 物理数据模型描述了一种详细的技术解决方案，通常以逻辑数据模型为基础，与某一类系统硬件、软件和网络工具相匹配。物理数据模型与特定技术相关。 （4）规范化 规范化是运用规则将负责的业务转化为规范的数据结构的过程。范式化的基本目标是保证每个属性只在一个位置出现，以消除冗余或冗余导致的不一致性。 ■第一范式，确保每个实体都有一个有效的主键，每个属性都依赖于主键，消除冗余分组，确保每个属性的原子性。 ■第二范式，确保每个实体都有最小主键，每个属性都依赖于完整的主键。 ■第三范式，确保每个实体都没有隐藏的主键，每个属性都不依赖于键值之外的任何属性。 ■BCNF范式，解决交叉的符合候选键问题。 ■第四范式，将所有三元关系分解为二元关系。 ■第五范式，将实体内部的依赖关系分解成二元关系，所有联结依赖部分主键。 模型的规范化通常要求达到第三范式水平即可。实践中BCNF、第四范式、第五范式很少出现。 二、数据建模主要活动 1、规划数据建模 在数据模型设计工作开始之前，首先要定制一个合理的工作计划。数据建模工作计划主要包括评估组织需求、确定建模标准、明确数据模型存储管理等。 数据建模成果主要包括：图表、定义、血缘关系、争议和未决问题。 2、建立数据模型 在建模过程中，首先要研究现有的数据模型和数据库，参考已发布的建模标准和数据标准，收集和考虑新的数据要求，在此基础上建模人员设计数据模型初稿；然后再与业务专家和业务分析师确认讨论模型设计是否符合业务规则要求，并提出修改建议；最后由建模人员修改形成数据模型基线。 数据建模范围正向工程建模和逆向工程建模。 （1）概念数据模型建模 主要步骤：选择模型类型，选择表示方法（信息工程法或对象角色建模等），完成初始概念模型，收集组织中最高级别概念，收集与概念相关的活动，合并企业术语，获取签署。 （2）逻辑数据模型建模 主要步骤：分析信息需求，分析现有文档，添加关联实体，添加属性，指定域，指定键。 （3）物理数据模型建模 主要步骤：解决逻辑抽象，添加属性细节，添加参考数据对象，指定代理键，逆规范化，建立索引，分区，创建视图。 3、审核数据模型 评审数据模型的正确性、完整性和一致性。并通过持续改进实践来控制数据模型质量。 4、维护数据模型 数据模型需要保持最新状态。需求或业务流程发生变化时，需要对数据模型进行更新。 三、数据建模工具 数据建模通常会用到数据建模工具、数据血缘工具、数据分析工具、元数据资料、数据模型模式、行业数据模型等。 四、数据建模方法 数据建模和数据库设计可参照ISO11179、ISO42010等设计标准，以符合企业架构和数据架构的要求，从而确保数据治理标准。 数据库设计时要遵循以下设计原则：性能和易用性、可重用性、完整性、安全性和可维护性。 五、数据建模和设计治理 1、数据建模和设计质量标准 （1）开发数据建模和设计标准 数据建模和数据库标准提供满足企业数据需求、符合企业数据架构标准以及确保数据质量的指导原则，标准应包含： ■可交付成果的列表和描述； ■适用于所有数据模型对象的标准名称、缩写和非常用单词的缩写规则列表； ■数据模型对象的标准命名格式列表，包括属性和分类词； ■角色和职责的列表和描述； ■元数据属性的列表和描述； ■元数据质量的期望和要求； ■建模工具使用指南； ■版本控制和评审指南； ■禁止或需要避免的事项列表等。 （2）评审数据模型以及数据库设计质量 企业应对概念数据模型、逻辑数据模型和物理数据库进行需求评审和设计评审。如果审核没有通过，建模人员必须通过修改以解决评审小组提出的问题。 （3）管理数据模型版本与集成 对数据模型和其他设计规范需要谨慎的变更控制，对数据模型的每次更改需要以时间线记录变更内容。每次变更需要记录： ■为什么需要更改； ■变更对象以及如何更改； ■变更批准时间； ■谁做了变更； ■进行变更的位置在哪些模型中。 2、度量指标 对数据模型质量的衡量可以通过以下10个质量指标进行度量： （1）模型多大程度上反映了业务需求（确保数据模型代表业务需求）； （2）模型的完整性如何（需求的完整性和元数据的完整性）； （3）模型与模式的匹配度是多少（概念模型、逻辑模型、物理模型要和关系、维度等匹配）； （4）模型的结构如何（验证模型的设计实践，确保最终可以从数据模型构建数据库）； （5）模型的通用性如何（模型的扩展性或者抽象程度）； （6）模型遵循命名标准的情况如何（确保数据模型采用正确且一致的命名标准）； （7）模型的可读性如何（确保数据模型易于阅读）； （8）模型的定义如何（清晰、完整、准确）； （9）模型与企业数据架构的一致性如何（确认数据模型中的结构能否在更广泛和一致的环境中应用，数据模型的术语和结构与相关数据模型的结构是否保持一致）； （10）与元数据的匹配程度如何（确认存储在数据模型结构中的数据和实际数据是一致的）。 数据模型积分卡提供了对模型质量的总体评估方法，并明确指出了针对模型的改进方向。 |
|
|
