在建设数据中心初期,中台建设的着力点在于帮助企业将不同平台的数据进行采集、打通、存储,为建设统一而完备的数据中心提供高质量的数据基础。该企业的业务团队将各业务系统(如供应链系统、仓储系统、线下零售店、第三方电商平台)的数据也关联到数据中心,将全部数据归集统一。通过不同的数据分析、挖掘工具完成后台技术建设,同时根据前端业务需求变化随时对数据进行调整、抽取、同步等操作。最后依靠丰富、强大、多维的数据基础为调整业务体系和产品研发提供更多参考意见,根据不同的业务诉求及时调整产品应用,再对应用中的数据及时进行采集、清洗,并存储在当初始建的数据中心里,以达到数据采集端与数据使用端的数据循环回流的目的。
为了实现数据存储、数据打通、数据应用、数据智能的目标,该企业部署了大量采集系统、同步系统、调度系统。在建设数据中台时,首先搭建了数据中台基础平台,通过业务系统抽取工具将CRM、OA、WMS、OMS等前台业务系统中的运营数据导出并集成,通过人工将数据上报并录入系统,然后通过外部API接口将京东、国美、苏宁、拼多多、天猫、小红书等渠道的数据进行融合、覆盖,以此进行底层数据汇总,存放到自建的私有云环境里。
另外,该企业将分布在天猫、京东等第三方平台上的数据打通,将多个平台同类型、同款产品的商品数据进行汇总。汇总后,首先利用分布大数据存储系统、离线式大数据计算系统、准实时大数据计算系统等对数据进行存储,形成大数据平台;然后通过元数据管理工具等数据治理套件对存储的数据进行处理,在此基础上,利用ETL工具对已清洗、存储的数据进行分析、挖掘;最后通过大屏可视化工具、报表工具、数据自定义门户工具等数据可视化套件呈现为亮眼、简洁的数据分析结果。
|