|
按照大数据处理的流程，分为数据采集、数据存储、数据提取、数据挖掘、数据分析，数据展现和应用。以下是链家网的案例，采用Hadoop集群建立BI和报表平台，以及采用业务员自助分析和数据挖掘、数据分析人员借用大数据平台的集群运算能力挖掘数据的双模式业务。 除此之外，更传统的企业对于大数据平台的应用也是基于以上的流程。 引用某大数据平台建设的案例，该机构是国家性研究机构，建立大数据平台主要收集市场数据，出台国家级的研究性报告，用于辅助市场决策。 从建设的及流程开始讲起吧，算是提供一个方法论。 第一步是数据整合，对多源多类型的数据进行整合，实现数据共享。目前以帆软报表FineReport为数据处理工具，以SQL Server为数据库存储平台，整合信息中心常用业务数据，常用的业务数据包括价格、进出口以及平衡表等。 第二步就是数据的抓取、处理和分析并自动化生成系列产品报告，实现目标是解放生产力。把业务人员从采集、整理、处理数据的体力劳动中解放出来，集中精力于市场深度分析研究、模型建立。本质上还是数据整合，不同地方是数据自动采集，并依据构建的模型。技术选型：FineReport +FineBI + Python + Kettle(ETL工具) + SQL Server。 第三步是数据挖掘，目标是构建行业模型和行业计量模型实现科学决策。 依托一期、二期整合的数据和大数据，接下来将构建大数据能力，提供标准化的服务能力。但粮油的分析模型、行业积累模型，是一种因素模型、经验模型，一定程度上依赖于分析师对市场的看法，这个模型分析结果需要分析师经验和直觉来判断，技术上要到位，所以这里通过帆软报表FineReport和商业智能FineBI的结果, 从数据报表、数据分析、数据挖掘三个层次，把数据转化为信息把数据转化为信息，使得业务人员能够利用这些信息，辅助决策，这就是商业智能主要解决的问题。无论在哪个层次，核心目标就是“把数据转化为信息”。 |
|
|
