大数据背景下的数据需求统一管理

大数据背景下的数据需求统一管理

2017-04-24 SmarterBank

如果一个企业真正意识到大数据能够成为核心竞争力，那么在数据治理和数据应用领域应该已经具备了扎实的实践基础，实在是一件值得骄傲的事情。

数据治理看起来高大上，做起来却必须动心忍性；数据治理贯穿整个生命周期，在熟悉业务、技术的基础上要精通具体的数据管理职能域，更重要的是还要有战略的眼光和纯熟的沟通。做到深处就必须谈谈哲学了，所以这是高大上的学问。

数据应用则走的是高精尖的路线，职业生涯的规划发展都包括了全栈的字眼。工程师、分析师、建模师，各位老师都要勤勤恳恳钻研技术，然后才能在工作中站稳脚跟，有机会发光发热。

1、大数据背景下的数据治理和数据应用

五年前给银监会写报奖材料的时候，参考Gartner魔力象限画了一个数据领域的四象限图。总体意思是数据治理和数据应用要保持平衡，在企业数据体系建设过程中二者处于相辅相成的关系。协调好了就会相互扶持，共同进步；否则就会相互掣肘，彼此深深的伤害。

（以数据治理、数据管理水平为横轴，体现数据体系的前瞻性；以数据应用与服务为纵轴，体现数据体系的执行能力。在魔力象限图中，横轴方向越靠近右边，代表该银行数据治理、数据管理的水平越高；纵轴方向越靠近上方，代表该银行数据应用与服务开展的越好，也就是数据价值利用的效果越好。横轴在前瞻性计划性上体现的更为明显，而纵轴更加侧重于价值实现。）

大数据背景下，数据治理和数据应用的结合更加紧密了。传统数据治理通常围绕it系统建设开展，但现在完全可以依托大数据应用项目开展数据治理。插一个槽点，聊数据湖如果只谈技术那是不恰当的，必须要结合数据治(管)理和数据应用一起讨论。总之呢，在大数据时代数据体系的各项职能应该更加紧密的团结在数据治理的周围，是需要整体考虑的事情。

这时候貌似该再扔一副图了，放缓一下思路。不过之前治理相关的图片已经贴了不少，就不重复了。说一下题目，最近跟某大行的老师聊了下数据管理的最新发展，很有收获；结合实际诉求又发挥了一下，下面我会从多个角度来聊一下大数据背景下的需求管理。

2、数据治理的需求必然是统一管理

数据治理的一项基本原则是全生命周期覆盖，这也就意味着数据治理相关的需求会稍稍繁琐一些，甚至会弄得it部门和业务部门都鸡飞狗跳。数据治理还有另外一个原则，高层支持和广泛参与，这条原则是解决麻烦事的必要基础。

举个例子，银监会数据质量良好标准现场检查之后的整改。这项需求动则需要两三年才能完成，组织架构、制度建设、数据标准、数据质量等领域都会有若干任务需要完成。稍微好一点的是数据标准落地，标准写起来难落地更难，几十个系统改造那是常有的事；不谈工作量，风险隐患都能吓死人。再好一点的是数据质量，麻烦主要是原则责任界定和整改督导。

数据治理的需求肯定是要统一管理的，不然根本干不了，可以由cdo办公室专人负责。另外，大数据时代，cdo的视角起码是2.0的版本了，专注于数据价值实现。不是说不再重视数据管理，而是说数据管理已经逐步化身基础能力，常态化机制了。

3、数据整合平台与统一需求管理

通常意义上来说，整合平台包括数据仓库、ods、外部数据管理平台、历史数据（日志）归档平台等几个典型代表，还有面向数据挖掘创新的实验室平台，以及面向具体应用的整合平台（数据湖）。

这些平台上下游影响系统较多，通常投资也比较大，所以最好进行统一规划和需求管理。这同样是紧密团结在数据治理身边的意思，无规矩不成方圆。大的数据整合平台从无到有很快乐，从有到多很麻烦。

4、企业数据应用阶梯能力对应的需求管理

企业对于数据应用需求从描述阶段到挖掘阶段共包括8种类型，数据应用的水平与相应的技术类型密切相关。

图中的“人”实际上对应的是企业，部分企业还停留在前面两个阶段，零星的报表支持一下经营管理，信息化的水平还有待提高。大多数传统BI项目其实并未发挥教科书中定义的商业智能应有的作用，提供多维分析和决策支持信号（触发器）能力，也就是图中的3和4。到了这一步，在数据支持下的企业就“站”起来了，从“电子化”逐步走向“数字化”，但还是低着头的状态。如果行业中大多数企业都还没有完善的it系统支持生产运营，那基本上这个层面的数据应用就能发挥足够的竞争力了。

图中4的后面是一堵墙，这个画的很贴切。这堵墙不仅是能力上的，还是思想和意识上的。对企业来说，懂不懂数据体系，懂不懂数据治理，这个位置应该也有对应的一堵墙。简单解释一下，统计分析帮助发现新的业务机会，预报（forecast）提供量化参考；预测（predict）模型的典型是做风控或营销，优化则是通过体系化的建模支持赢得同业竞争优势。

不同的企业对于数据应用有着不同的理解，企业内不同部门同样也有这种区别，分歧甚至出现在同一部门下面的不同团队。依据不同条线的发展状态和业务痛点，应该有不同的解决思路相对应。不是什么场景都需要做分析和预测，虽然这些看起来很炫，但在恰当的时间地点提供最适合的方案才是最佳选择。

特别说明一下，很多人看到这幅图后会自动与岗位能力对号入座，这其实是不妥的。每种类型的应用落实到个人技术能力方面，都对应足够长的技术路线可以进步；从跪着到跑着，主要还是指企业对于数据的理解和应用层面。

不同的数据应用需要不同技术特点的人来完成，术业有专攻，合理搭配能提高战斗力。有机会可以再详细聊一下数据科学家这个概念，其实银行不需要数据科学家，需要的是数据科学团队。

数据部门需要提供1-8的全面支持能力，再由统一的需求管理来完成科学调度。另外，在自主可控方面，越是后面的能力越需要企业自己掌握。

5、写在最后

统一的需求管理是数据体系发展的必然选择，也是大数据背景下必须采取的手段。数字化、智能化是每个企业都在面临和迎接的发展趋势，技术是公平的，选择才是关键的。

国内外相关数据能力成熟度方法论里面对于第五级的描述都是类似的，那就是做到行业标杆。银行数据领域的行业标杆代表着先进的生产力，统一需求管理是其多年经验的总结，值得学习和思考。

闻道有先后，术业有专攻；有朋自远方来，不亦乐乎。