分享

准确预报天气?看这里!| 沙龙分享

 长沙7喜 2016-06-14
本期嘉宾
苑明理
 
彩云天气工程师
中文维基百科管理员

编者推荐
天气预报错报和误报,人们早已司空见惯,次数多了,也就不足为奇。尽管公众对于天气预报准确性的容忍度极高,但在彩云天气团队看来,天气预报的准确性还可以不断提高。精确到分钟的天气预报?彩云天气可以做到。
 
本期沙龙我们邀请了彩云天气工程师苑明理为我们讲述预报天气的新视角:如何用精巧的算法预报天气。

1
未来的天气,算出来


用计算机看天气
彩云天气的故事要从北京师范大学的副教授张江老师说起,他在读博期间发展了一个叫“集智俱乐部”的线下组织。在这个组织里,有各种各样有意思、有想法的人,他们的灵感相互碰撞。
 
集智俱乐部最有意义的活动是它的读书会。这其中有一个读书会特别值得关注,它就是彩云天气故事发生的缘起。(https://www.douban.com/event/19029525/ 豆瓣同城:脑与deep learning读书会)

2013年,DeepLearning 刚刚火起来,读书会便快速跟进。十几个年轻人做了广泛的探讨。

在这个过程中,故事的主角袁行远提出一个想法:是否可以把深度神经网络的技术应用到天气领域?


气象爱好者通常会有一个爱好——自己看气象雷达图来判断天气情况,袁行远就是这样一个气象爱好者。那时,袁行远就想到——既然人能够根据这些云图判断出天气的变化,能否让计算机也来做这件事情呢?

经过了无数的尝试、失败,最后袁行远找到了一些技术上的方法。这些方法能够顺利地让计算机推测出云的移动,并获得天气预报信息——这就成了彩云天气的开始。

用AI重新解决传统问题

如果你生活在海边,可能会看到上图这种壮观的情景:水汽从海里蒸发,在上升过程中经过冷却形成降雨。


传统观测降雨的技术手段是气象雷达,我国目前部署了几百台这样的气象雷达。

气象雷达观测到的是一帧一帧的雷达图

可以看到这幅图中,黄色部分随时间在逐渐移动,它反映的是降雨带的移动。雷达图的应用有几种形式:一种是气象预报员根据雷达图的观测进行人工判断——降雨什么时候到达本地的城市;另一种就是把它送到超级计算机里面,并用称为“模式”的数学模型来做一个更细致的天气预报。

“模式”的原理示意图

可以看到,整个地球被划分成了很多网格,而每个网格上有大气的若干状态。它根据物理的方程来导算出下一步大气演化过程,从而给出天气预报。


这种方法需要巨大的计算资源,因而一般做数据天气预报需要超级计算机。

所以,不论是气象预报员根据雷达图做出人工预报(这种预报无法更广泛地送达给所有人),还是数值天气预报(需要极其庞大的数据资源),这两种方法都面临着困难。


后来有人发展出一种简化思路,即通过分析雷达图的云的移动来预报天气。但是,这种方法的准确率不够高。在香港有这样的预报系统,根据统计,它们的准确率只有70%左右。


彩云天气则结合了雨云移动的物理学方法,同时把深度学习应用到云的生长和消散上,从而能给出一个准确的预报结果。

用独特算法简化问题
彩云天气通过独特的算法来预报天气,这个算法是把三维的问题降为二维,可以大大降低计算量。


这个图里雨的形成过程在三维空间中展开,风把蒸汽往上空带,在上升过程中冷却形成降水。而凡是用数值天气预报求解的思路基本都是模拟三维环境,这个计算量就非常大,这个计算就需要超级计算机来做。


如果仔细观察上图雷达图的变化,你会发现降雨的移动完全是可以简化到二维空间上来进行的。此时,我们只要单纯地估计二维空间上的圆是如何移动的,就能预报某一个地方某一时间段的天气。

这个方法已经有人尝试了,但是他们没有把这个预报准确率做的特别高。而我们的特色就在于把深度学习的技术和这个思路结合起来,最后就能很好的解决传统方法解决不了的问题,而且计算量还能保持较小,这就是我们独特的地方。
 
总结来说的话有两点,一个是把问题从三维简化到二维,第二是一个精巧的算法。

2

人人都是气象站


以上是两幅很有意思的图,一幅是几十年前大家在火车上看报纸,另一幅则是人们在地铁上看手机。

那么,不同的媒体形式会对天气预报有影响吗?


上图是传统的天气预报员在电视上讲解天气变化的过程。可以看到,他是通过中心的媒介传递给大众。因此,他的内容只能传递同一份信息——也就是说,他提供的天气预报只能是一个城市而不是一个精确的地点;同时,时间上也是静态的,可能只是一天的整体趋势。


如今我们生活在智能手机普及的时代,每一部手机都可以随时精确地记录你所在的位置,并发送相关信息给服务商。这样,服务商就有可能做出一个完全个性化的天气预报了。

除了个性化的天气预报,用户还能体验到一定的交互功能。通过手机,用户可以把本地的天气实况回报给厂商,于是厂商(比如彩云天气)就能在这个基础上来修正,从而预报更精准的天气信息。

手机相当于一个“小气象站”,收集了大量的个性化数据。它收集的数据不是个性的数据,是一个共享的环境数据,我们对它的处理是将这些不规则格点的数据,想办法整理到规则格点上,成为我们整体后台计算的一部分。

除了手机这个小小“气象站”,我们还有很多经验可以分享,例如,我们处理全国几百台雷达站的数据,其中每一台要六分钟更新一次数据,然后一天处理的雷达图数据量是几十G,所有这些要在六分钟之内顺畅地完成,要求非常高。从方法上来说,除了提高每一步的单个数据处理模块的响应速度之外,我们还通过引入一个中间节点,来简化数据流的复杂性。


上图中密密麻麻的图标就是彩云天气用户给的实际天气回报。


同时,因为每一部手机有传感器在其中,所以它可以感知到外界的某些气象数据。比如iPhone就可以感知到用户周围的气压。彩云天气现在在做的一件事情,就是收集iPhone用户的气压数据。


所有这些能力,综合起来把彩云天气团队引向了一个更大的可能——机器智能、人类智能和环境之交融。


优酷视频Google DeepMind's Deep Q-learning playing Atari Breakout(http://v.youku.com/v_show/id_XMTUxODU2NjY5Ng==.html)展示的是Google deep mind发明的re-enforcement learning的一种算法。运用这种算法的机器可以自动跟游戏交互而学会怎样更好地打游戏。

刚开始的时候电脑不太会玩这个游戏,然后逐渐学会了一些技巧,开始像一个人在打。最有意思的是它在若干轮的学习之后,发现了一个技巧——它可以把球打到空间的上方,然后让它不断地反弹,这样就能不断地得分,可以快速地把这个游戏的得分提升上去,整个学习过程都是机器自己完成的——这是最让人兴奋的地方。

彩云天气团队在天气领域也有一个类似的构想,就是利用人们的反馈,天气观测数据的彼此对照,作为一个输入,让算法自己不断地改进自己,从而不断提高天气预报的准确性。

具体到工程的实现上,可能需要很多前期的工作一步步完成,包括很大的开发工程,我们会在接下来的几年中不断优化并实现这样一个想法。

特别感谢会议助理:杜雪
编辑:宋文博
运营:李卓然
策划:王琼 刘真

版权声明

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多