分享

数据中台能力建设三步法

 旅行者m1 2023-10-07 发布于辽宁
数据中台涉及的核心能力广泛,企业从零开始建设数据中台的过程复杂且工作量庞大,结合企业自身业务和数据的规模情况,多数具备一定规模的大中型企业通过多期项目分阶段建设数据中台成为必然选择。《数据中台能力成熟度模型》系列标准的框架中,在全面覆盖数据中台六大能力的同时,也体现了各类能力对应的不同阶段层次,据此可大致的将企业数据中台的完整建设过程分为三个阶段:以平台工具建设和架构体系设计为主的第一阶段;以数据治理和数据开发工作为主的第二阶段;以统一数据服务建设和数据资产运营为主的第三阶段。

图片

图1 数据中台各建设阶段对应能力 


 数据中台的第一阶段建设

数据中台的第一阶段建设以最为基础的各项能力建设为主,其中不可或缺的包括对于技术平台工具的搭建,以及完成基础数据架构及技术架构的设计。但在此之外,并不代表在第一阶段的建设中可以完全不涉及其他方面的能力,后续各项能力的顺利建设缺少不了在第一阶段中适宜的前瞻设计与考量。第一阶段的建设工作总体来说包含三部分的能力建设。

第一部分是技术工具的建设。对于在立项建设数据中台之前信息化水平并不高的企业,企业内部数据仅依赖业务系统自带的数据库分散存储,缺乏统一的数据管理系统及对数据进行进一步开发处理和分析的技术工具。在此情况下,面向企业希望对自身数据进行有效利用的需求,补足基础的数据存储、计算、开发、分析工具是首当其冲的,由此引入诸如大数据平台、分析型数据库、数据开发平台、BI工具等技术平台工具成为建设企业数据中台的第一步。同时,在这些最为基础的工具之外,企业还可以根据自身可能存在的潜在需求,补充建设数据湖、流处理平台、数据挖掘平台、图计算平台、知识图谱工具等其他通用平台工具。

第二部分是架构设计的工作。对于前期信息化基础水平较低的企业,在还未形成体系化的企业数据及信息系统架构的情况下,架构设计是能够为后续数据中台建设打下坚实基础的关键工作。在架构设计的数据架构设计工作中,结合业务需求及业务架构,通过对数据流向和数据分布的梳理,可以发掘最符合企业需求的数据架构构建方式和形态,同时经过合理的数据分层和分域,可以有效的完成以传统数据仓库为基础的企业级数据架构设计。在技术架构设计工作中,根据拟引入的技术工具及各工具模块的应用方式和场景,通过合理的选型和集成,实现整个系统间各工具模块的有效交互,确保数据在各技术工具之间的顺畅流动。

第三部分是面向未来拟建设各项能力的基础性建设工作。在完成技术工具的建设和架构设计的工作后,面向其他未建设的能力,企业实际上已经完成了部分能力体系设计和通用工具建设方面的基础性工作,为后续其他能力的建设打下了部分基础。在此之外,为保证后续其他能力建设的效率和效果,仍有部分工作可在此阶段完成,例如:组织架构调整的设计与落实,包括确定是否建立专门的数据中台管理部门,是否为后续组建专门的数据开发服务、数据运营团队预留架构空间和储备人员等;流程制度的建立,包括明确数据中台各项工作职能和实施细则的制度文件,面向未实现的各项能力提前做出规定,如面向数据管理工作先行给出全局性的宏观数据管理制度;技术工具的完善,除满足企业利用数据可能需求的各项基础技术工具之外,额外面向未来可能的数据管理及数据资产运营工作的需求搭建数据管理平台、数据资产运营平台等相应平台工具,甚至进一步的可利用工具实际完成企业内部全局数据资产的梳理,给出供内部参考的数据资产目录等。


数据中台的第二阶段建设 

数据中台的第二阶段建设以维持数据中台运转、提升数据中台可用性的能力建设为主,其中重点包括数据开发能力和数据管理能力的建设。第二阶段的建设主要包括两个部分。

第一部分是数据开发能力的建设。数据开发是持续对企业内部数据进行加工处理,进而满足企业内部其他人员用数需求的过程。对于前期未建立起企业用数流程,仍由少量人员根据临时需求进行一事一议的取数及处理的企业,该部分建设的核心工作之一是建立企业内部的标准化数据开发流程,在此目标下需配套的完成数据开发团队的设立、标准开发流程的设立、专职开发人员的设立等工作。同时在开发流程能力建立完善的基础上,可进一步根据自身情况完善对于开发流程的管理和开发环境的管理能力。需要注意的是数据开发过程涉及到了数据的全生命周期,在执行开发的过程中不免会对数据中台的其他方面产生影响,例如开发过程是否会产生新的中间表、是否会形成新的数据质量问题等,由此可见第二阶段的相关能力建设将进入到涉及面更广,建设过程更需要考虑宏观效果及影响的阶段。

第二部分是数据管理能力的建设。数据管理是一项由来已久的企业内部管理工作,当下业内已对数据管理工作做出了相当全面的定义和阐释,然而对于大多数刚刚完成前期信息化基础建设工作的企业来说,企业内部的数据管理工作仍留有大量空白。在数据中台的建设过程中,如果已完成了第一阶段的前期建设,在第二阶段数据管理建设时的主要目标是提升数据中台内数据的可用性,其核心工作包括对于企业内部全量数据的梳理、制定数据标准和数据质量规则、实际按照标准和规则落地实施等相关工作。数据管理部分的工作需要大量的人力实践,部分企业在此环节仅重视并完成了相关制度文件、标准、质量规则等的产出,但在实际依据相关文件整改企业内部数据并长期维护确保数据质量持续在线等方面缺乏持续性的决心和投入,也成为了数据中台第二阶段建设的重要问题。


数据中台的第三阶段建设

数据中台的第三阶段建设以能够发挥或促进发挥数据中台价值的相关能力建设为主,其中重点包括数据服务能力和数据资产运营能力的建设。第三阶段的建设主要包括两个部分。

第一部分是统一数据服务的建设。数据服务是数据中台面向企业内部业务应用方的统一窗口,是数据中台对业务人员来说唯一可以直观感知的部分。数据中台究其本质目标是让企业内部的数据转化为业务价值,数据服务则是能够让业务人员使用数据产生价值的直接手段,因此数据服务的建设往往成为企业数据中台第三阶段建设的核心工作,同时数据服务能力建设的关键方向也是更强的可用性和易用性。一方面,数据服务应尽可能全面的满足业务人员的用数需求,提供不同形式的服务方式,区分实现共性和个性化的需求,在集中满足共性需求的同时,为个性化需求提供便捷易用的自助服务方式。另一方面,数据服务建设时还需重点考虑统一性,即在统一的门户上以相近的流程方式为用户提供全面的数据服务。部分有一定信息化基础的企业存在大量数据服务分散建设的情况,用户使用时需操作多个不同平台或经过大量跳转,极大的造成了数据服务能力的割裂感以及使用难度。

第二部分是数据资产运营能力的建设。在数据中台提供的服务满足业务方各项需求的前提下,进一步的工作便是如何让业务人员更好的使用数据。从企业全局的视角来看,如何全面促进企业总体数据资产的使用是核心问题。在建设企业数据资产运营能力的过程中,需要提前对运营工作做出全局规划,制定运营的相关制度和策略,同时从成本和价值的角度制定相应评价体系,持续性的执行运营及优化改善动作。运营是一个相当宽泛的概念,在具体执行中,能力宣介、使用推广、文化培养、评价反馈、分析优化等各环节工作都有众多可尝试的执行形式,从让业务人员更容易、更愿意参与的角度选择适宜的执行形式将更有助于整体运营工作的开展。


三阶段建设完成后的工作

在完成第三阶段建设工作后,并不意味着数据中台的能力已经完善,伴随着数据中台能力的进一步充实,大量持续性工作是否到位,是后续数据中台能否充分发挥价值的重要影响因素。

第一是场景化数据需求的持续发现和补足。可利用数据优化提升的业务场景是数据中台重要的建设依据。对于部分业务种类繁杂,场景难以枚举的企业,一次性的实现对于所有场景数据需求的支持是不现实的,由此数据中台的多期建设中除去分阶段完善各项能力之外,对各业务条线场景化数据需求的持续梳理也是各期建设中的重点,甚至在能力建设完成之后仍需要分多期项目持续补足对于更多业务场景的支持。

第二是对数据中台应用效率的衡量以及持续运营。数据中台的建设无疑投入重大,但建设后的使用环节是否高效仍影响着数据中台实际的运行效果,因此建设后应同时开始对于数据中台使用效率的衡量,及时发现使用过程中存在的问题,降低部分流程的空转率以及部分服务的闲置率,同时持续运营增强业务人员对数据中台的接受度以加大使用,从而产出更多价值。

第三是企业人员数据素养的持续提升。数据中台能产出多少价值最终仍直接取决于使用其服务内容的实际业务人员,数据中台对于业务人员需求的满足效率和效果也部分取决于执行数据开发、数据管理工作的人员能力,由此对于人员能力的提升是长期且不应间断的工作,其中大量企业仍存在业务人员数据素养不足,无法理解数据存在的潜在价值进而不重视对于数据进行利用的情况,全方位提升业务人员的数据素养可能在未来成为提升数据中台产出价值的最有效手段。


本文节选自大数据技术标准推进委员会于“2023大数据产业发展大会”上发布的《数据中台实践指南(1.0版)》

报告介绍及全文下载链接如下:

《数据中台实践指南(1.0版)》正式发布,附下载链接






中国信息通信研究院(简称“中国信通院”)自2021年起开始搭建数据中台工作体系,核心围绕已经成为企业数据能力引擎的数据中台领域,包括技术产品、供给侧企业服务能力、应用侧企业应用实践过程,从而指导各企业数据中台高质量建设、高效能应用。

图片

中国信通院数据中台工作体系

《数据中台能力成熟度模型》系列标准由中国信通院牵头,工商银行、中国移动、浦发银行、中国联通、平安银行等数十家企业共同编制。基于该系列标准,中国信通院启动数据中台能力成熟度评估,共分为技术工具、架构管理、数据开发、数据服务、数据管理、数据资产运营六大能力域,面向企业数据中台建设应用方开展成熟度评估。2023年下半年,第二批数据中台能力成熟度评估已经启动,欢迎各数据中台应用单位前来咨询。

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多