机器之心报道
几天前,一篇名为《Exploring the MIT Mathematics and EECS Curriculum Using Large Language Models》的论文经历了一场舆论风波。 论文地址:https:///pdf/2306.08997.pdf 最初,研究团队从 MIT 的数学、电气工程和计算机科学 (EECS) 专业的课程问题、期中考试和期末考试中,整理出了一个包含 4550 个问题和解决方案的综合数据集,并让各种大语言模型去完成这个数据集的题目,得出了「GPT-4 几乎满分通过 MIT EECS 和数学本科考试」的结论。 这一结果很快被人指出不够严谨,还给出了多项证据和详尽的分析,表示数据集本身就有问题,用 GPT-4 自动打分的评价机制也很有问题: 「我们的批评主要是针对这项研究的方法和严谨性,而不是针对其内容。我们对大型语言模型实际解决麻省理工学院课程的能力没有任何意见,只是认为本文未能以科学严谨的方式证明这一点。」 面对扑面而来的质疑,研究团队在接下来的一周里却没有进行任何公开回应,没有承认,也没有道歉。 但在昨天,人们等到了来自几位教授(也是论文作者)署名的官方通报: 6 月 24 日,Armando Solar-Lezama(MIT EECS 教授和 CSAIL 首席运营官 / 副主任)、Tonio Buonassisi(MIT 机械工程教授)和 Yoon Kim(MIT EECS 和 CSAIL 助理教授)就该论文情况发表了公开声明。 声明内容如下:
这样一份调查声明,真的足够了吗?回想一周前三位质疑者提交的分析,数据集被污染、手动检查的结果与论文所说的「几乎满分通过」相差甚远,这至少意味着论文内容应该被重新审查。 显然,并不是所有人都对调查结果满意,有人表示这是避重就轻的说法,只是关注他们不应该使用这些数据的事实,而不提捏造结果的错误。 「所以这三位麻省理工学院的教授认为,未经同意使用数据是论文的唯一问题。」 针对「这本来是一篇非常有趣和宝贵的论文」的说法,更多人点了反对:「让 GPT-4 给自己生成的答案打分,这就是有趣和宝贵吗?」 另外,有人发现 Iddo Drori 的个人主页已经更新,删掉了「MIT 客座教授」的 title。而且根据领英主页的信息,他将在这个月结束自己的 MIT 访问之旅。 「一些教授决定让一位客座讲师成为替罪羊,并试图将每个人的注意力从方法论转移到数据隐私问题上,却没有批评这篇论文。这是多么典型的学术政治问题。」 正如三位质疑者在博客中所写的那样:「这篇论文道出了最近人工智能领域研究的一个更大趋势。随着该领域的进展越来越快,新发现的时间节奏似乎在缩短,这往往伴随着捷径。一个特别令人担忧的趋势是使用像 GPT-4 这样基于语言的模型来评估一个模型的准确性的技术。」 对于此事,你怎么看? |
|