|
学员简介 苏慧哲，现就读于上海市大同中学， 2018 级“英才计划”计算机学科优秀学员，师从上海交通大学计算机系俞勇教授。 苏慧哲的课题是“应用 DQN 的俄罗斯方块智能体”，是使用一种名叫 Deep Q-network（DQN） 的强化学习算法，让机器能够在不了解游戏规则的前提下，直接从游戏画面和操作得分上学习游戏规则并尽量获得更高的游戏得分。她通过该课题深入学习了机器学习算法，充分了解其优势与弱势，感受科研方法和过程。曾获得第一届全国中学生人工智能大赛初赛一等奖，决赛铜奖， 友谊赛最具潜力奖； 全国青少年信息学奥林匹克联赛复赛二等奖；2018 年“英才计划”计算机学科论坛优秀学员称号。 开题报告重写六次 苏慧哲热爱编程，刚升入高中时，她对未来并没什么计划，但学校信息课的内容已无法满足喜欢代码的苏慧哲。“我特别喜欢读那些优雅的代码，还有其中严谨的算法和数据结构，” 苏慧哲说。在老师的鼓励下，她被学校推荐成为“英才计划” 学员，并接受上海交通大学俞勇教授培养。 开始申请时一筹莫展，苏慧哲上网学习了开题报告的格式，选了很多方向，最后她决定做一个自然语言处理方向的课题。苏慧哲绞尽脑汁地写完了第一篇开题报告，曾是科研工作者的母亲看完只说了两个字：“重写。”第二次，“你这引用格式不对，逻辑也不通，重写。”第三次，“结构不够完整，句子读不通，还有错别字， 重写。”……如此这样，她一共重写了六次，才终于把开题报告定下来，那是苏慧哲第一次写有论文性质的报告。 “要学的东西还很多” “英才计划”开始后的第一次会议，俞勇教授让“英才计划”学员和他的研究生互相介绍了各自的课题，并让大家自行配对， 找一名研究生作为自己的执行导师。对游戏感兴趣的苏慧哲选择了一名研究课题与游戏相关的研究生作为执行导师。执行导师带他们简单地参观了实验室之后，便是学生和执行导师的单独交流环节。 执行导师：“你之前了解过机器学习吗？” 苏慧哲：“完全不了解……只是感兴趣。”执行导师：“你会 python 吗？” 苏慧哲：“不会，听说过……我学的是c++。” 执行导师：“那你的课题呢？” 苏慧哲：“我觉得需要改一下……” 苏慧哲成为课题组里面可能唯一一个带着课题进来，但却要求更改课题的学生。最后综合考虑了她的知识储备、学习能力和执行导师的研究方向，她的课题改为“强化学习在俄罗斯方块上的表现”。 执行导师：“关于强化学习，你先去听听 David Silver 的课， 然后机器学习方面 去 Coursera 上 把 Deep Learning 第一门课上完，可能还需要一点微积分的知识，你有不会的再来问我。还有，python 也要 学，不过我估计你会 c++ 的 话， python 应该两个星期就能学会。” 听着这些话，苏慧哲感觉要学的东西很多。“我能做完这个课题吗？不是‘能做完吗’，是必须要做完。”她心想。 从执行导师布置完任务后，苏慧哲每天除了学校的功课，还多出了许多其他需要学习的内容，而且难度高，课程是全英文的，有的时候一节课她需要反复听两三遍才能听懂讲了什么。她利用上学路上背单词的时间学习 Python 语法，曾经用来娱乐的时间如今都在学习算法，又因为算法中涉及的高数知识，自己买了微积分和线性代数教材利用暑期学习。 在学习过程中，她常去英才群里问问题，也因此认识了许多厉害的同学。暑假前，有人告诉她， 暑假要举办第一届全国中学生人工智能大赛，她想不如正好检测一下学习成果，于是她邀请了“英才计划”的同学，一起组队参加了比赛，她作为队长和第一作者，在比赛期间完成了两篇小论文，训练了三组模型，获得全国铜奖。在暑假结束之前， 她学完了课题所需要的全部内容，而这段时间也是她在“英才计划”期间最充实的一段时间。 丰富活动增长见识 除了知识外，“英才计划”还提供了许多资源。暑假举行的“樱花计划”，是去日本交流学习，听诺贝尔奖得主小林诚的讲座；此外，还组织学生们参观了日本高能加速研究机构、早稻田大学和东京大学、未来馆。在未来馆，馆长前太空人毛利卫先生的演讲令苏慧哲印象深刻，毛利卫先生当时所说的“你们就是未来”令苏慧哲深刻感受到自己身上的责任。 2018 年 9 月份在清华大学举办的“理论计算机科学明日之星交流会”，对苏慧哲来说更是一次重要的经历。苏慧哲说：“会场上传递的科研精神我是切身体会到了， 每个人都努力地做出一点微小的贡献，可能推动科学的发展。正因为那次活动，使我仔细考虑未来，希望自己能走上科研道路。” 10 月份的滴水湖论坛上，苏慧哲向诺贝尔物理学奖得主弗兰克 · 维尔泽克提出了困扰自己的问题：“我的课题卡在了一个很困难的地方，我该怎么办？”“他鼓励我不要放弃，并建议我同时进行一些简单的小课题，这样即使难的课题卡住了，小的课题也总是能有进展，这样就会让心情好一点。人总是要进步的。”苏慧哲说。 披荆斩棘冲破难关 苏慧哲的课题是使用一种名为 DQN 的算法，来让电脑学习如何进行俄罗斯方块游戏。但在她训练了一天以后，模型的表现竟然没有一点改进，几乎跟随机策略表现一样，苏慧哲想，“这哪里是人工智能，我这是训练了一个人工智障啊。”苏慧哲利用十一长假七天的时间，全部用来修改代码和 debug，问题从最开始的预测出现nan， 到 loss function 不能收敛， 到模型看起来一切正常，问题一点点有了改进。但模型确实只是看起来正常，在真正的环境下，它总是似乎抓不到学习的重点，一直在迷茫地来回移动方块而不让它落下。 不过，坚持总是有回报的，在和执行导师讨论了几个晚上之后，执行导师提出，为什么不把输入合称为序列呢，因为这个“人工智障”似乎看起来总是把握不住这个方块前后移动的关联。苏慧哲听取了执行导师的建议进行了修改，没想到奇迹发生了， 训练了一天以后，它的表现远远超过了随机策略。2018 年 11 月，她完成了结题论文《应用 DQN 的俄罗斯方块智能体》。 荆棘路上开满鲜花 出乎意料的是，最后苏慧哲成功入选学科论坛，还被评为优秀学员。这出乎了苏慧哲意料，她说：“在此之前，我从没想过我能有这样的成绩，我也从来不知道一个人的时间可以有如此之高的利用度， 如果没有加入‘ 英才计划’， 或许这个时候我只能回忆我在这一年刷了多少本练习题，而这一年我收获了成长，克服了困难， 结识了良师益友。” 苏慧哲用三个回忆总结了这一年的经历： 我可以回忆我的成长。“ 从一开始写不到千字的开题报告需要母亲帮忙修改六遍，到现在近万字的结业论文，从框架到内容全部自己思考和修改；从开始学习都是通过老师授课，到现在自己主动找网课、书籍、论文来学习；从开始的迷茫，到现在坚定地希望走上科研的道路。我可以回忆我克服的困难。在我第一次读机器学习时，我不知道各种术语，但我想办法学会了，甚至连我一向不擅长的算法推导也了解了。我还可以回忆那些在‘ 英才计划’ 中了解的人。关键时刻鼓励我、为我指明方向的导师俞勇教授；给我讲解数学知识， 帮我解决困难的我的执行导师；总是和我讨论课题、互相学习的周亦奇同学；在关键问题上总能给我重要的建议和参考的赵熠远学长；还有那些给予我期待和帮助的各位老师和同学。” “我看到一条漫长的科研之路在我面前缓缓铺开，这条路上布满了荆棘，我们一路上互相鼓励、披荆斩棘，回首望去，荆棘上开满了鲜艳的花朵。我知道我的心不止于高考，而是在这条科研之路通向的远方”，苏慧哲说到。 导师简介 俞勇,上海交通大学计算机系教授，博士生导师。享受国务院特殊津贴。曾获得国家级和上海市教学成果奖 6 项、获得“上海市五一劳动奖章”、“宝钢优秀教师特等奖”、“全国师德先进个人”、“上海市师德标兵”和“上海交通大学校长奖”等多项荣誉，为亚洲首次夺得 ACM 国际大学生程序设计全球总决赛冠军， 并首次将总决赛引入亚洲，对推动计算机教育起到了积极的作用。俞勇目前的主要研究方向是 Web 搜索、知识管理、机器学习。 |
|
|
