在2015年刚进入对话系统研究领域时,俞舟就思考:是否可以在没有任务的情况下研究用户的参与度?比如单纯从社交的角度看人机对话。所谓“参与度”,就是指人类用户愿意与机器交流的时长。用户参与度一直是评价一个对话系统性能的重要指标,但在任务导向的对话系统中,因为每个任务的框架都会略有不同,所以研究者无法专注于研究参与度。这也与人机交互的思维有关。刚到CMU时,俞舟因为没有浙大直系师兄师姐的带领,基本就是跟着苏州中学的学姐朱海一玩。朱海一研究的方向是人机交互,久而久之,俞舟也耳濡目染。俞舟认为,既然人工智能的最终目标是做一个natural agent(自然智能体),那么机器也应该有人的“感知”能力。在人与人的交往中,我们往往要先进行一番寒暄,然后再提出恳请对方帮忙的要求。比如,如果你想让你的同事帮忙做一个PPT,你会先问一句:“你有没有时间?最近忙不忙?”亲密关系的建立大多是从社交语言开始的。但在此之前,许多研究员是纯计算机的角度:“我有一个要求,机器是来帮我实现这个要求的”。这与现实生活不符,也与人类的天性(对社交的需求)相悖。于是,俞舟便思考从社交语言的角度提升对话系统的用户参与度。打造对话系统的耗时很长。俞舟回忆,他们当时做对话系统要从头开始写,用时大约两年。比较幸运的是,转到Alexander Rudnicky的门下后,俞舟从Alexander以前的学生那继承了一部分系统,再基于他们的研究做改进,增加不同模态的对话功能。2015年,俞舟开始在社交对话系统的用户参与度研究上发表了许多出色的论文成果。读博期间,她的主要成果是创建了TickTock、Direction-giving Robot与HALEF这三个对话系统。其中,TickTock就是俞舟团队获得2018年亚马逊Alexa Prize的机器人“Gunrock”的原型,后被部署到Amazon Alexa 上,产生了非常重大的社会影响。他们的系统支持上千用户同时与机器对话,俞舟的团队得以收到很多反馈。令俞舟感到最温暖的是,有些小朋友会把对话机器人当成自己的小伙伴。他们会说:“Alexa is my sister. I'd like to talk to her every day before I go to sleep. ”(Alexa是我的姐妹,我希望每天睡觉前都可以跟她聊天。)这让俞舟感到自己作为研究者的社会责任感。随着现代人越来越容易接触到对话系统,她也开始考虑自己设计出来的系统在道德层面的义务。比如,当机器人在与小朋友聊天时,至少不要教坏小朋友。图注:社交对话系统让机器成为人类的伙伴而HALEF是一个工作面试系统,结合了视觉与语言,帮助用户练习口语等,甚至在用户学习受挫、感到沮丧时,用夸奖肯定的语言鼓励学生。图注:HALEF系统能够实时观察男生回答问题时的面部神情、音量,判断“他走神了”。在俞舟看来,多模态对话系统的研究价值在于:在人与人的对话中,我们不可能只基于一个人的说话内容来做决策,还有根据Ta的行为、反应等。因此,凭借单一的信息源是不够的,这也是为什么相机越来越普遍、语音识别越来越可靠之后,多模态对话系统会成为大势所趋。多模态对话系统的应用场景非常广泛,在销售领域,可以推荐电影、推销商品;在教育领域,可以实时对话,训练个人技能,甚至帮助初步筛选面试者;在医疗领域,可以与用户进行半预先设定对话(semi-constructive dialogue plan),检验用户是否有心理问题;或做一个虚拟人类和有自闭症的小孩互动,给予老年人关怀,等等。俞舟当初的研究内容也慢慢被大家接受。加入社交语言,对话系统既可以创造商业价值,也可以实现人文关怀。她也因为在多模态对话系统的研究成就入选2018年“福布斯30为30岁以下科学精英榜”。2017年从CMU博士毕业后,俞舟加入UC Davis担任助理教授,开始在任务上将研究拓展到社交+任务导向相结合的系统。这一新型的系统被称为“劝说型对话系统”(Persuasive Dialog Systems)。劝说型对话系统也有许多应用场景,比如劝慰抑郁症患者,劝说有自杀倾向的病人,推荐产品,劝说大家在疫情期间不要出门,甚至是给慈善机构捐款。这也是俞舟小组目前的一个重要研究方向。他们的工作“Persuasion for Good”(劝说向善)获得 ACL 2019 最佳论文提名。图注:劝说向善的一个示例亲历社交对话系统从冷清到火热,俞舟认为多模态对话系统仍处于一个蓬勃发展的阶段。多模态对话系统的上升在俞舟身上也可见一斑:“很多企业希望与我们合作,或者希望我们的博士生毕业后能够去他们的公司工作。”她的工作也获得了越来越多大厂的关注,比如亚马逊、英特尔、Facebook、腾讯等,不久前,俞舟获得Facebook资助200万美元,支持推荐对话系统研究。此外,她的研究也获得了NSF、DARPA等权威机构的支持。对此,俞舟认为是“因为他们看到多模态对话系统在未来会有非常强大的影响力。”
6
加入哥伦比亚大学
今年1月,为了迎接一个新的小生命,俞舟从UC Davis转到了哥伦比亚大学计算机系担任助理教授。从人工智能重镇到金融业繁华的纽约,俞舟继续多模态对话系统研究。从懵懂天真的学生,到独当一面的大学教师,俞舟跌跌撞撞,唯一不变的是从事科研的初心:在对话系统中结合文本、视觉、语音等不同模态的算法,打造一台能够与人类在智识与情商上无障碍交流的机器。再看当年读博的曲折时光,俞舟也从来不是一个人孤军奋战。她不是很在意来自外界的质疑与打击,因为她知道自己有来自父母、老师、同学与其他合作伙伴的支持。图注:俞舟在CMU读博时与同学们对她来说,读博是一个跳出温室的过程,她成长、突破、思考,学习与挫折面对面。这是科研人的必修课,也是攀登更高峰的通行证。除了科研与指导学生,俞舟也开始将一部分重心放在了对话系统的教育上。近日,俞舟与中国人民大学的闫瑞老师、苏州大学的李俊涛开始合写一本关于对话系统的教科书。此外,她还在哥伦比亚大学开设了一门对话课程,叫做《Conversational AI 》,主要教授对话系统的各个方向最新的研究成果。这里分享这个课程的阅读材料和对应的课件:https://docs.google.com/.../1nSKcnM5r9x82BdyPgn.../edit...有想要与俞舟老师进行交流的高校、企业或学生,可以通过以下邮箱联系:echoyuzhou@gmail.com。最后俞舟老师希望大家在读博之前做好思想准备,多了解一些各方面的知识。一旦开始后,也不要因为不顺利就一直自己默默隐忍,要积极的学会向不同的同学老师朋友寻求帮助。不要总是和同学攀比论文数量有没有获奖什么的,要有自己坚持的喜爱,做自己觉得有意义的工作。祝大家科研顺利!