DataPipeline丨金融行业如何统一管理单个任务下所有API的同步情况

Coder编程 2020-09-03

展开全文

目前，依靠“手工人力”的电子表格数据治理模式逐渐被“自动智能”的专业工具取代。数据管理员、业务分析师开始采用“平台工具”来梳理主数据、元数据，构建模型和管控质量等。

以A公司为例，在此之前，其主要通过编写程序的方式定制化开发每个交易所的API。随着需要接入的交易所和用户量逐渐增多，且交易所的API会不断迭代，使得A公司面临许多问题：

本文将从A公司的具体背景着手，详细解读：应该如何借助工具解决A公司每天的数据抽取工作。

一、A公司背景

A公司专注为各种规模和复杂程度的金融投资机构提供一体化投资管理系统，系统主要由投资组合管理、交易执行管理、实时监控管理、风险管理、绩效归因、投资分析等功能模块构成。

通过产品持仓解析、敞口分析、绩效归因与风格分析、产品风险管理分析、情景压力测试分析，交易成本分析到FOF投资分析，自动生成投资业绩报告，为基金经理、管理者和投资者提供多维度、高价值参考数据，为合理决策提供可靠依据，大幅度减轻基金经理工作量。

然而，随着机构管理产品数量的不断增多，大量数据分散在各券商/系统中且数据存储格式各异，难以管理和利用。

为了帮助投资机构最大限度地提高投资决策和运营效率，A公司需要实时监控自己的用户在各个交易平台的基本信息、余额、订单交易情况，并需要根据分析结果及时给出投资建议。

二、如何借助工具解决数据抽取问题

随着技术的日渐成熟，相关平台工具系统的技术局限性如效率低、差错率高、扩展性差等将被一一攻破，能够更加有效地帮助企业解放人力，提高效率和精准度。

API数据源可通过更友好的方式解决A公司在对接几十个交易API的过程中遇到的上述需求场景：

1. 一分钟完成单个API配置

单个API的配置包含：API名称、URL地址、请求方式、参数设置、自定义高级设置。
参数允许用户填写：Text、WebService、Timestamp、DependOn。

若用户的value是一个数值或者静态数组则选择Text即可，若某一个key的value是动态的，可选择Web Service。

A公司的api-key还有symbol（或者signature）是动态的，用户无法给出静态值，所以可通过该功能实现动态传参。

用户可根据每个API的特殊情况完成自定义高级设置：若交易所API有请求频率的限制，可使用「最大请求频率」功能设置。若参数中需要指定分页参数，也可在高级设置中完成。

DataPipeline提供了指定「签名设置」，以及分隔符等其他自定义设置，目的是满足各个交易所的多种情况。

2. 允许用户在单个任务添加多个API，统一管理一个交易所的相关API

3. 自定义目标库表结构

4. 可视化调试解析逻辑与解析结果

DataPipeline提供可视化调试工具，内容包括：清洗脚本编辑器、样例数据栏、运行结果栏。
上半部分为解析脚本编辑器，用户可根据自己的解析逻辑完成解析脚本的录入与修改。左下半部分为样例数据栏，系统会自动获取该目的地表对应的API数据，便于用户编辑解析逻辑。
点击「试运行」，系统会立即返回样例数据经过解析脚本后的结果。若运行结果符合用户预期（与设置的目标库表结构一致），则点击「保存」即可。