数据规范的作用

1、数据规范有哪些类型？

1）数据格式规范：规定数据的存储格式、数据类型、数据单位等。 

2）数据元素规范：规定数据元素的名称、定义、取值范围、计量单位等。 

3）数据结构规范：规定数据元素之间的关系，包括层次结构、关系结构、集合结构等。 

4） 数据采集规范：规定数据采集的过程、采用的方法和工具、采样时机、采样频率等。

5） 数据存储规范：规定数据存储的位置、格式、库表名等。 

6）数据使用规范：规定数据在使用时需要遵守的规则和限制，例如数据保密、数据授权、数据共享等。 

7） 数据质量规范：规定数据的准确性、完整性、一致性、及时性等要求。

而我们经常讨论的数据规范是指的数据存储规范，包含数据仓库的分层规范和建表规范；而其他规范一般放置在数据标准中，使用数据质量规则进行检验。

2、数据建表规范有什么作用？

数据建表规范是指在设计数据库表结构时要遵守的一些规范和标准，这些规范和标准包括数据字段命名、数据类型、数据长度、主键选取、外键关联、索引等等。 

建表规范首先进行规范设计，然后在建表的时候对规范进行应用，提高建表的规范性以及敏捷性，同时也可以数据仓库建表的质量，这一过程是通过规范设计将数据的标准提前进行设计，而不是事后处理。

遵守数据建表规范有以下好处：

1. 统一标准：规范化的命名和设计可以让不同团队的开发人员之间更加默契、易于理解和协作。 

2. 规范化处理：规范化的设计和处理可以减少数据重复、数据冗余和数据不一致等问题，提高数据的一致性、准确性和完整性。 

3. 便于维护：规范化的设计和处理可以减少数据库表维护的难度和复杂度，提高维护效率和速度。 

4. 提高查询效率：规范化的设计和处理可以使数据库中的数据结构更加优化，提高查询、分析和统计的效率。 

5. 合规要求：数据建表规范有一些是归集于行业相关的法规、政策或标准的，遵守标准规范可以让企业符合相关的合规要求。 

总之，遵守数据建表规范可以使数据库设计更加统一、规范化、规范化处理，从而提高数据的可维护性和查询效率。

3、数据仓库数据层次存储规范有什么作用？

数据仓库数据层次存储规范是一种用于管理数据仓库中数据层次结构的规范。它的作用如下： 

1）清晰数据结构：每一个数据分层都有它的作用域和职责，在使用表的时候能更方便地定位和理解；

2）减少重复开发：规范数据分层，开发一些通用的中间层数据，能够减少极大的重复计算；

3）统一数据口径：通过数据分层，提供统一的数据出口，统一对外输出的数据口径；

4）复杂问题简单化：将一个复杂的任务分解成多个步骤来完成，每一层解决特定的问题。

 总之，数据仓库数据层次存储规范是数据仓库管理的重要组成部分，它能够使数据仓库中的数据更加规范化、清晰、高效、安全，并且可以更好地支持数据分析和决策。

数据仓库分层规范如下：

1）源数据层（ODS）此层数据无任何更改，直接沿用外围系统数据结构和数据，不对外开放；为临时存储层，是接口数据的临时存储区域，为后一步的数据处理做准备。

2）数据仓库层（DW）也称为细节层，DW 层的数据应该是一致的、准确的、干净的数据，即对源系统数据进行了清洗（去除了杂质）后的数据。

此层可以细分为三层：明细层DWD（Data Warehouse Detail）：存储明细数据，此数据是最细粒度的事实数据。该层一般保持和ODS层一样的数据粒度，并且提供一定的数据质量保证。同时，为了提高数据明细层的易用性，该层会采用一些维度退化手法，将维度退化至事实表中，减少事实表和维表的关联。

中间层DWM（Data WareHouse Middle）：存储中间数据，为数据统计需要创建的中间表数据，此数据一般是对多个维度的聚合数据，此层数据通常来源于DWD层的数据。

业务层DWS（Data WareHouse Service）：存储宽表数据，此层数据是针对某个业务领域的聚合数据，业务层的数据通常来源与此层，为什么叫宽表，主要是为了业务层的需要在这一层将业务相关的所有数据统一汇集起来进行存储，方便业务层获取。此层数据通常来源与DWD和DWM层的数据。

在实际计算中，如果直接从DWD或者ODS计算出宽表的统计指标，会存在计算量太大并且维度太少的问题，因此一般的做法是，在DWM层先计算出多个小的中间表，然后再拼接成一张DWS的宽表。由于宽和窄的界限不易界定，也可以去掉DWM这一层，只留DWS层，将所有的数据在放在DWS亦可。

3）数据应用层（DA 或 APP）前端应用直接读取的数据源；根据报表、专题分析的需求而计算生成的数据。

4）维表层（Dimension）最后补充一个维表层，维表层主要包含两部分数据：

A）高基数维度数据：一般是用户资料表、商品资料表类似的资料表。数据量可能是千万级或者上亿级别。

B）低基数维度数据：一般是配置表，比如枚举值对应的中文含义，或者日期维表。数据量可能是个位数或者几千几万。