搭建指标体系的实施过程 -- 大数据团队实践分享

在 如何搭建指标体系？OSM+ARGO+金字塔原理 一文中，我们讨论了公司层面搭建指标体系的方法，更多的是从公司决策的角度，拉齐各部门（运营、产品、大数据）之间关于指标体系的建设和使用。

本文主要从大数据部门实施的角度，来介绍构建指标体系的实施流程。

搭建指标体系的一般步骤

1. 业务调研：了解业务和需求，明确数据的使用方式和建设指标体系的目标。
2. 收集业务过程：大数据工程师与产品经理一起讨论和定义业务过程，这些业务过程是指标体系中的基本单位，对应了指标体系中的基础指标（下文有关于基础指标的介绍）。
3. 划分数据域：将联系紧密的业务过程划分到相同的数据域。
4. 定义指标：定义基础指标、派生指标、复合指标。
5. 开发数据模型：数据模型中包含了指标的度量和维度，数据模型由一张或者多张数据表关联而成。数据模型在逻辑上是一张大宽表。
6. 部署到调度系统：每天自动生产出指标的数据。
7. 指标可视化：支持指标报表并且支持指标自助查询。

搭建指标体系的步骤示例

1.业务调研

充分的业务调研是指标体系构建的基础，在数据指标体系搭建项目启动前，需要与各业务方详细了解具体业务、梳理清楚关键业务流程。

需求采集可分为定量、定性采集两种类型，定量地发放调研问卷形式，广泛采集业务需求；定性地进行用户访谈，深度挖掘业务应用场景和核心需求。

2.收集业务过程

乘客端流程可划分为：注册/登陆、下单、服务、支付、评价/客服投诉。

核心流程中所产生的业务过程：

1） 注册/登陆阶段：新用户数、用户数、不同渠道用户数

2） 下单阶段：下单量、新用户下单量、老用户下单量、不同城市下单量数据、不同车型下单量数据、下单成功用户数

3） 决策阶段：议价订单数、非议价订单数、决策阶段用户主动取消订单数、决策阶段超时取消数、数加价完成订单数、减价完成订单数

4） 服务阶段：下单成功用户数、订单时长、下单成功率、完单量、完单率、完单用户数

5） 支付阶段：订单金额、订单平均金额、订单优惠金额、计费差额

6） 评价阶段：好评率、差评率

业务流程中产生的核心业务过程：

1） 注册/登陆阶段：注册用户数、新增用户数

2） 加盟阶段：提交审核用户数、审核通过用户数、新注册司机、累计注册量、老司机量、新司机量

3） 接单阶段：在线司机数、听单司机数、有效听单司机数、中标司机数、中标率、日均中标司机数

4） 决策阶段：决策阶段司机取消订单数

5） 服务：服务平均距离、平均时长、空驶平均距离、空驶平均时长

6） 评价：司机好评率、司机差评率、平均星级

7） 提现：司机余额、提现次数、提现金额

3.划分数据域

在明确用户的业务过程后，需要根据分析决策的业务，划分数据域，并在相应的数据域下拆解具体的业务过程。

数据域：是联系较为紧密的数据主题的集合，是对业务对象高度概括的概念层归类，目的是便于数据管理与应用。

在划分数据域时，需要注意：

1） 能涵盖当前所有的业务需求

2） 能拓展新业务进入已有数据域，或者拓展新的数据域

4.定义指标

如上图所示，设计指标时需清晰定义业务域=用车业务、数据域=服务域、业务过程=下单、维度=城市、属性=北京、时间周期=近7天、修饰词=快车、度量/原子指标=下单量。通过增加对原子指标的约束条件，规范产生派生指标=近7天北京快车下单量，提供一套通用的指标定义标准，方便不同业务部门的人理解指标含义。

关于基础指标、派生指标、复合指标在 SQL 上的表现，请看：基于开源可视化数据探索平台 Superset 的指标体系建设 。

指标体系中的名词介绍：

业务域：比数据域更高维度的业务划分方法,适用于特别庞大的业务系统，且业务板块之间的指标或业务重叠性较小。例如用车业务板块包含乘客端、司机端，电商业务板块包含商城、返利模块。

业务过程：指企业的业务活动事件，如下单、支付、退款都是业务过程。请注意：业务过程是一个不可拆分的行为事件。通俗的讲，业务过程就是企业活动中的事件。

数据域：是联系较为紧密的数据主题的集合，是对业务对象高度概括的概念层归类，目的是便于数据管理与应用。

修饰类型：是对修饰词的一种抽象划分。修饰类型从属于某个业务域，如日志域的访问终端类型涵盖无线端、PC端等修饰词。

修饰词：指出了统计维度以外指标的业务场景限定抽象，修饰词隶属于一种修饰类型，如果在日志域的访问终端类型下，有修饰词PC端、无线端等。

时间周期：用来明确数据统计的时间范围或者时间点，如最近30天、自然周、截至当日等。

度量 / 基础指标：原子指标和度量含义相同，基于某一业务事件行为下的度量，是业务定义中不可再拆分的指标，具有明确业务含义的名词，通常是业务过程 + 度量组合而成，如支付金额。

维度：维度是度量的环境，用来反映业务的一类属性，这类属性的集合构成一个维度，也可以成为实体对象。维度属于一个数据域，如地理纬度、时间维度。例如：在分析交易过程时，可以通过买家、卖家、商品和时间等维度描述交易发生的环境。

维度属性：维度属性隶属于维度，相当于维度的具体说明，如用户维度中性别为男、女。

派生指标：派生指标 = 一个基础指标 + 多个修饰词(可选) + 时间周期。可以理解为对原子指标业务统计范围的圈定。如原子指标：支付金额，最近一天海外买家支付金额则为派生指标(最近1天为时间周期，海外为修饰词，买家作为维度，而不作为修饰词)。

5.开发数据模型

采用 维度建模 的方法，开发数据模型。

6.部署到调度系统

将数据表、数据模型的 ETL（Extract - Transform - Load）作业部署到调度系统上，每天自动生产指标的数据。如果公司已经有了作业调度系统，请使用公司的调度系统；如果使用开源作业调度系统的话，推荐使用 Apache DolphinScheduler。关于 DolphinScheduler 的使用，请参考：

• 手把手教你源码安装 Dolphin Scheduler 作业调度系统
• Dolphin Scheduler：从 Shell 工作流说到代码解析任务间的依赖关系

7.指标可视化

指标每天自动产出之后，将指标可视化，帮助分析师和运营团队进行数据分析和业务决策。如果公司已经有了BI（Business Inteligence）系统，请使用公司的 BI 系统；如果考虑使用开源 BI 系统的话，推荐使用 Apache Superset。关于 Superset 的使用，请参考：

• 基于开源可视化数据探索平台 Superset 的指标体系建设
• 基于开源可视化数据探索平台 Superset 的数据安全管理

总结

本文从实施的角度，介绍了大数据团队搭建指标体系的实践经验。将指标体系建设的步骤和示例进行列举和说明。然而在指标建设过程中，还会遇到指标口径不一致、指标查询性能慢等问题，期望在未来的文章中进行讨论和交流。