流数据处理可能会成为大数据领域的下一个重头戏,随着几个开源项目 Flink、Beam和 Apex打出的流处理引擎广告,我们决定进去一探究竟,为数据湖泊的用户测试一下它们。Flink似乎在这部分是最成熟的,刚刚发布了1.0.0版本。 用例 我们想流化股票价格,开发一个实时指标功能,然后报告给用户。在这种情况下,我们的指标采用5分钟移动平均价。不妨和现实世界的例子做个对照,有时这个价格被交易者们用来获得一种对安全的感觉,即当前价格是被低估还是高估的,尽管现实使用的时间间隔更大。 对多数经济分析而言,最大的障碍之一就是寻找免费的数据来源,幸运的是,谷歌给我们提供了一个每分钟都能安全获取到JSON格式的当前价格最新数据的URL网址。 |
|