一位丹麦科技大学硕士毕业的机器学习研究生,没有申请到博士学位,也没有找到合适的工作。 他决定给自己8个月的时间,在顶会上发表一篇论文,不然就去做程序猿。 最终他做到了! 他收到了超过100条私信,来问怎样像他一样做个「独立研究者」。 于是他把自己的经历详细写了下来,还给了忠告:这条路太苦了,能不走就别走。 申请碰壁在distill.pub发表了一篇论文之后,Andreas小哥天真地以为,有了独立发表的论文,加上自己的硕士学位,就可以申请到一个博士学位了,不然也能申请到软件工程师、ML工程师之类的职位。 他以唯一作者的身份在distill.pub上发表了论文《在RNN中的可视化记忆》,展示了两个准确度相似的模型在NLP的显著交互可视性有很大不同。 他一边写信给教授,一边写给各种大厂,像谷歌、微软、Rakuten、ElementAI,英伟达、Hypefactors,英特尔,京东,亚马逊,三星,Shift Technology,Corti都试了,还请认识的人帮忙推荐。最后得到的结果是: 没有一篇顶会发表的文章,很难申请到好的AI博士项目。 而这位小哥在丹麦大学完成硕士学业,学校并不鼓励他们发论文。 当然他也没有收到任何公司的offer,连一个面试电话都没有。 碰了一圈壁之后,小哥明白了: 想做博士,又没有圈内人推荐,你需要提前做等同于博士学位一半的工作 申请季过去,2019年4月,他决定背水一战: 到2020年1月前,如果没有在NeurIPS或ICLR上发表文章,就去做JavaScript程序猿。 一边赚钱养自己一边做研究此前的一年,小哥是一个自由职业者。因此找到活干养自己并不太困难。 之前他就通过朋友接到了一个NearForm项目。要求是:了解Node.js的内部结构,统计背景 ,Web可视化技能。他既满足这些要求,又能获得不错的薪水。 到了2019年,原来的项目又给了他新的活,开发在NodeConf EU 2019上发布的IoT智能手表及胸牌的TensorFlow部分。这让他保持在2019年继续有收入。 生活问题解决了,想发表论文的第一个困难是要确定研究方向。 机缘总是会提前埋下伏笔。 毕业后,他曾经到自己学校AI学生协会的开幕式上找导师谈博士学位的事情,却没有成功。不过,他遇到了后来的贵人:助理研究员Alexander。 和对方的通信中,Alexander告诉他,有几个学生试图复制DeepMind的论文「 NALU」(神经算术逻辑单元),但没有成功。问他是不是可以试一试这个方向,也许可以成为NeurIPS论文。 他想起自己之前的论文也一直在优化别人的研究。这样的工作他也挺感兴趣。 几乎所有出版物都夸大了它们的表现。改善他人的工作是一种可行的研究策略。 孤独前行人是社会动物,需要来自环境的支持和鼓励。博士写论文很苦逼,但是至少周围还有一群跟你一样苦逼的人。 而一个人做研究写论文,可以想象有多孤独。孤独到走过这条路的小哥建议大家不要再这么做:
那Andreas是如何撑过这7个月的呢? 1、每周一次和Alexander见面,讨论研究。这对他帮助很大,Alexander有很好的批判性思维,会对他的研究提出质疑。这样的督促作用是,让自己不要想偷懒走捷径。 2、同时做一些其它的小项目。不把所有的时间都押注在研究上。编写一个开放源代码的工具,实现一个已知的论文,等等。这样阶段性的小成就,更容易获得其它研究员的鼓励,让自己有一些正反馈。 不要怕拒绝,反复投,反复改论文初稿完成后,Andreas进行了三波投稿。 第一波,投石问路。他把论文投给了他发表过论文的distill.pub,被拒绝了。 修改了以后,再次投给distill.pub,这次他得到了非常有价值的评审建议。他觉得,如果没有来自distill.pub两位评审的意见,论文最后可能就不能进入ICLR。 至于他的目标是NeurIPS或ICLR,那就一个一个试。 于是第二波,他投了NeurlPS,也被拒绝了。 研究本身是对来自Deepmind的NALU的优化,质疑的意见也大多与此有关: 1、一些评论者认为新研究无法成功复制 NALU的结果。一个反复出现的问题是“为什么原始论文的结果要比你提案中的结果好得多”。 2、一些评论者还提议,做NALU论文声称要做的所有事情。但是论文中提供了明确的证据,表明NALU模型并不能令人满意地完成所有工作。 小哥从被拒绝的经验中总结:
再接再厉,小哥再次把论文进行了修改,增加了更多证据和实例,投了ICLR。 此外,他还做了一件为自己的研究争取好评的事情: 将实验设定和复现结果投给了 NeurlIPS 2019的SEDL workshop。然后他发了一条twitter,标记了NALU的第一作者A. Trask,结果对方回复了:Great work! 有了好的基准,才能继续提升。 在ICLR评审上,小哥的论文得到了4条评审意见,分别是3,6,6,8。 其中一位评审人之前在NeurIPS就读过他的研究,对他研究的接受度也增加了,从NeurIPS的Weak Reject 到ICLR的Weak Accept ,最后变成了Accept。 最终,区域主席给的决定是接受(spotlight)。
经验总结小哥认为,自己的经历有一个重要的背景: 在2017年以后,硕士申请博士的门槛提高了,不再像之前那样随随便便就可以申请到。申请到博士学位甚至比完成博士还要难。 申请博士需要1到2篇在顶会发表的论文,最好还要有著名的合作者。同样,对相关行业从业者的要求也在提高。小哥在硕士毕业没有申请到合适的大厂职位,而在2013~2015年,硕士学位也可以应聘成为google的研究员。 最后,小哥总结出三条经验: 1、与别人合作。找到可以对研究提出建设性意见的人很重要,此外,在大学里找到可以使用大量计算资源人的人也很必要。作为助理研究员的Alexander给小哥的研究提供了计算资源。 2、不要灰心, 也要给自己留备选项。目前投稿的接收率大概是20%,做独立研究,被接受的机会可能更少,但是不要因为一次拒绝就灰心。同时也要进行其它项目,这样即使失败了,也不会感到完全浪费时间。 3、说一千道一万:有别的选择,就不要走这条路。 One more thing有人问他:要取得spotlight,还需要额外做什么? 他还回答了别的问题: Q:你这些漂亮的图是什么做的? Q:你的工作没有什么用,你就是个笑话。 Q:你花了多长时间? Q:你的计算资源来自哪里? Q:我的导师要给我一个读博的机会,我是否应该接受? Q:我现在正在实习,但我感觉什么都学不到,因为我的导师不管我。 Q:我是硕士在读,要怎么为发论文做准备? Q:我要如何提升自己的编程技巧? Q:我看到一些人拿到硕士学位就进了谷歌当研究员,他们是怎么做到的?
听了Andreas小哥的故事,是不是有所触动呢? 参考资料 https:///forum?id=H1gNOeHKPS — 完 — |
|