|
Google的首席经济学家Hal Varian在2010年指出“在接下来的岁月里，最时髦的工作将是统计学家……领悟数据的能力——理解数据、处理数据、提炼价值、可视化数据、沟通数据——必将成为一种极其重要的技能”。大数据、数据可视化都已成了当下商业分析中的重要基础概念。 近年来IT行业飞速发展，数据作为一种基本的概念已经深入到社会生活的每一个角落！个体的经济活动和社会活动都已经数据化了，消耗在各种数据接入设备的关注时间，成了互联网企业争相竞逐的最重要的资源。 数据的存在本身就是数据的唯一价值！人类通常会将自身遇到的一切与基础符号或符号系统进行关联，从而赋予这些数据以含义，从而成功地将数据变成了有意义的信息（INFORMATION），信息是人类适应/控制外部世界过程中交换的内容，反映事物的形成、关系和差异。 信息集合之间明确的相互作用一旦被人类所感受和体验，逐渐就成了确定性的知识（KNOWLEDGE），基于既往所发生的各种事实，利用内插法和概率进行认知性和分析性的总结归纳，就形成了人的理解（UNDERSTANDING）过程。 数据、信息和知识举例如下： 数据：珠峰的高度8844.43米，坐标：27°59′17″ N 和86°55′31″ E 都是数据。 信息：描述珠峰地理特征的书籍，包括气候等各种各样数据的描述。 知识： 探讨具体如何最好地登上珠峰的报告。比如攀登珠穆朗玛峰必须遵守著名的“两点钟规则”：即攻顶一定要在下午2点前完成，不然就必须回头。美国登山好手费雪（Scott Fischer），曾经四次成功登上珠峰，但在第五次时过晚登顶，结果在下山时遇大风雪丧命。 智慧：使用知识，经验，理解、常识、洞察（对特定上下文中的明确因果关系的理解）进行思考和行动的能力。将智慧加诸于特定实体就是实体的智能——逻辑、理解、自知、学习、情绪表达、知识、计划、创新和问题解决的能力。 本质上智能就是对非确定性，非概率性的外延，它是基于知识之上的已经评估过的理解，能够用于处理尚未发生的不确定的情景，知道对于尚未发生的未来什么是最好的选择！ 泰伦提乌斯说过：真正的智慧不仅在于能明察眼前，而且还能预见未来！ 商业智能（Business Intelligence）概念本身在1958年就已经被IBM的Hans Peter 提出，但商业智能作为一种复合的技术和应用，直到1989年才被来自Garner 的Howard Dresner通俗化才广为人知：即一类由数据仓库，查询报表，数据分析，数据挖掘，备份/恢复等部分组成、帮助企业决策为目的的技术和应用。总体上就是三大杀器：数据仓库（Data Warehouse），联机分析处理（OLAP）和数据挖掘（DATA MINING）！ 90年代，数据仓库已经从探索阶段走向了实用阶段。W.H Inmon 在《Building the Data Warehouse》一书中对数据仓库作出了明确定义：“数据仓库是支持管理决策过程，面向主题，不断变化的持久化数据集合”。 2004年开始到2007年，也许是商业智能行业史上最为激动人心的岁月。根据07年美国高盛公司的调查，70%的企业在IT采购中对商业智能工具或者应用具有采购计划；人们认识到企业对商业智能的呼唤不仅仅是少数公司的行为，而是已经从企业的“想要”逐渐变成了企业的“需要”。 商业智能行业一开始只是一个规模有限而且专业性很强的细分市场，以至于一开始SAP，ORACLE，IBM和Microsoft 这些巨头都忙于自己的专业领域，未曾暇顾。目前的行业格局基本上奠定于2007年左右的大规模商业并购。 对比Gartner 2007年和2008年的商业智能平台魔力象限，你会发现在商业智能领导厂商第一梯队中，唯有SAS 始终如一，在这个领域犹如标杆般的存在，而其他4家都已经城头变幻大王旗：Oracle（Hyperion Solutions）, SAP（Business Objects），IBM（Cognos）和 Microsoft（ProClarity），而第二梯队则只剩下Information Builders，MicroStrategy 和QlikTech 三家公司。 截至到2013年，商业智能的那些传统功能，比如参数化报表，联机分析处理（OLAP）和即席查询（Ad-Hoc Query）并没有被广大管理者和分析师所完全拥抱，主要是大部分人认为他们对许多分析用例而言太过难用。因此，商业智能和分析平台市场从主要用于测量和报表BI系统，加速转型到那些支持分析，预报，预测和优化的BI系统。 作为世界最为著名的IT调研机构，Gartner 每年都会根据IT领域的市场变化提供魔力象限和技术成熟度报告，从而影响企业的战略投资。在2013年Gartner 的报告中，商业智能BI系统被定义为提供17个能力的软件平台，覆盖分析，信息交付和集成三个方面。 2014年，确保对不同数据提供治理，规模和性能仍然主导BI市场的需求。越来越多的数据源（比如数据来自云端，实时事件和传感器，多结构数据等）和新的分析类型（比如网络分析，情感分析，机器学习新算法）引入使得分析变得额外复杂，然而这使得创造新的商业价值成为可能，行业竞争更加活跃。也有越来越多的企业自行开发贴合自身业务的分析功能，因此，2014年度Gartner的魔力象限显得特别活跃，上榜者也居然达到27家之多，SAS依旧赫然在列，在数据分析方面始终如一。 2016年Gartner的BI和分析平台报告发生了显著的变化，因为它认为易于试用、购买和使用在BI和分析工具的评估中变得越来越重要，现代的BI和分析平台应该能够让非技术用户，也能自主地执行全自动的分析工作流程，包括数据准备、交互式分析、并能够对分析形成的洞察进行协作共享。它主要根据对五个主要用例方面的支持来对市场进行评估：受控的数据发现，去中心化分析，嵌入式BI，敏捷而集中的BI调配以及支持IT的工作流、BI和分析内容的外网部署。 然而Gartner 2016年的BI和分析平台报告并没有反映商业智能和分析平台市场的整体情况，而是侧重于几个纯BI的新玩家和描述性/诊断性分析用例（即发生什么/为什么发生？），也许，报告名称叫“自助服务商业智能工具魔力象限” 可能更加准确。那些具有更高商业价值的预测性分析（将会发生什么？）和规范性分析（我该怎办？）在该报告中并没有得到足够的体现，Gartner 将这些分析归入了另外一份高级分析特定的报告（如下图所示）。 IBM、KNIME和RapidMiner是这个高级分析领域的领导者。其中SAS表现尤为出色，在2016这一年中SAS被Gartner誉为2016年营销资源管理领导者；被Gartner评为数字营销分析领域领导者；并且连续六年获得Gartner魔力象限数据整合工具领导者殊荣。 据Gartner的预测，到2018年全球一半以上的大型机构将使用高级分析和专有算法进行企业强力竞争；2020年高级分析将吸纳企业40% 在商业智能和分析领域的新投资。 高级分析采用复杂的定量方法，包括统计、描述性和预测性数据挖掘、机器学习、模拟和优化等对数据进行分析，形成传统BI查询和报告所无法发现的洞察。当然，执行分析将不只是针对专业的数据科学家和高级分析师，可视化的工作环境让平民数据科学家也能参与到数据分析中来。借助工作流复用，分析自动化、引导式分析能帮助分析人员极大地提高效率。 此外，高级分析平台还要求为开发分析模型，提供部署到端到端环境之能力。包括开发和构建分析模型的能力、模型部署（集成到业务流程应用程序中的能力），对基于平台的项目和模型的操纵、验证和跟踪能力，以及对海量数据/流式数据在速度和准确性上，具有高性能和高伸缩性提出要求。 分析领域的翘楚SAS于2016年推出的高性能和可视化架构SAS Viya，是一个全新的云就绪开放式综合高级分析平台，它代表了SAS新一代的分析架构。SAS Viya能帮助缩减从早期分析探索到后期业务价值实现所需要的时间，是商业智能的基础。 商业智能和分析行业冷静的观察者可能会得出一个结论：大数据时代的到来并没有引爆商业分析行业，反倒是一些BI领域的小公司借助相关概念和产品易用性，结合前端技术的进步吸引了部分客户。不过这些小公司虽然增长很快，但市场基数实在太小（2-4%），部署也以面向桌面应用为主，因此对整个市场不足于构成挑战和威胁！ 商业智能行业的淘金山谷依然牧歌祥和，正在稳步走向云时代——不仅仅是数据本身，而且包括应用——都在走向云端！当然，大数据时代有个关键的特征是：数据分析人员只有通过数据可视化和交互式分析，才能真正理解数据，沟通数据，从而提炼数据的商业价值。哪家公司能够率提供将可视化数据探索、分析和价值发现流程融为一体的现代化产品线，帮助企业建立一个具有可持续发展的数据分析平台，才算真正把握了大数据时代分析的先机！ 本文作者：巫银良，分析行业资深专家，大数据可视化分析负责人， SAS 北京研发中心商业智能和可视化分析产品部技术总监，资深商业智能技术专家。 |
|
|
