|
对话式人工智能对科学研究来说是一个游戏规则的改变。 2023年2月3日，荷兰阿姆斯特丹大学的多位教授在Nature杂志发表文章ChatGPT: five priorities for research，讨论了科学界应当如何应对ChatGPT。 ChatGPT是一项拥有巨大潜力的颠覆性技术，禁止它是行不通的。重要的是拥抱机会和管理风险。 ChatGPT的兴起 ChatGPT是一个机器学习系统，由加利福尼亚州旧金山的人工智能公司OpenAI创建，是一系列“大型语言模型（LLM）”中最新、最强大的一个。ChatGPT可以自主地从数据中学习，在对大量的文本数据集进行训练后，可以产生复杂和看似智能的写作。并且是免费的，易于使用，能够不断地学习。 ChatGPT引起了兴奋和争议，也对科学和社会有着深远的影响。研究人员已经使用ChatGPT和其他大型语言模型来撰写论文、总结文献、修改论文，识别研究中的漏洞和编写计算机代码，包括统计分析。很快，这项技术将发展到可以设计实验、撰写和完成手稿，甚至进行同行评审。  AI ChatGPT服务的智能手机端和电脑网页端 对话式人工智能可能会彻底改变研究实践和出版业，带来了机会，也带来了担忧。 一方面，它可以帮助人们流畅地写作、缩短出版时间，然而另一方面，它也可能降低研究的质量和透明度，并从根本上改变人类研究者的自主权。而且，虽然ChatGPT产生的文本令人信服，但往往是错误的，它们的使用会扭曲科学事实，传播错误信息。 作者认为，这种技术的使用是不可避免的，禁止它是行不通的。当务之急是，研究界要参与关于这项潜在的颠覆性技术的影响的讨论。本文概述了五个关键问题。 坚持人工验证 LLMs已经发展了多年，但数据集质量和规模的不断增加，以及用人类反馈来校准这些模型的复杂方法，突然使它们比以前强大了许多。LLMs将推动新一代的搜索引擎的发展，能够对复杂的用户问题产生详细和信息丰富的答案。 但是将对话式人工智能用于专门的研究，很可能会引入不准确、偏见和抄袭的问题。 作者向ChatGPT提出了一系列需要深入了解文献的问题和任务，发现它经常产生错误和误导性的文本。 当作者问"有多少抑郁症患者在治疗后会复发"时，它产生了一个过于笼统的文本，认为治疗效果通常是持久的。然而，许多高质量的研究表明，治疗效果会减弱，在治疗完成后的第一年，复发的风险在29%到51%之间。  在另一个例子中，作者要求ChatGPT总结一下作者在JAMA Psychiatry上撰写的关于认知行为疗法（CBT）对焦虑相关疾病的有效性的系统综述。在回答中，ChatGPT夸大了CBT的有效性。 这些错误可能是由于ChatGPT的训练集中没有相关的文章，未能提炼出相关的信息，或者无法区分可信的和不太可信的来源造成的。 使用ChatGPT的研究人员有可能被错误或有偏见的信息所误导，并将其纳入他们的思维和论文中。而且，由于这种技术通常是在没有可靠地引用原始来源或作者的情况下复制文本，使用这种技术的研究人员有可能不知不觉地剽窃了许多未知的文本，甚至可能泄露了自己的想法。研究人员向ChatGPT和其他LLM透露的信息可能会被纳入模型，聊天机器人可以将其提供给其他人，而不承认原始来源。 假设研究人员在工作中使用LLMs，学者们需要保持警惕。专家驱动的事实检查和验证过程将是不可或缺的。高质量的期刊可能需要加入人工验证步骤，甚至禁止某些使用这种技术的应用。因此，强调问责制的重要性将变得更加关键。作者认为，人类应该始终对科学实践负责。 制定问责规则 现在已经有工具可以预测一篇文章是来自机器还是人类的可能性。这类工具对于检测是否利用LLMs制造内容可能很有用，但这类检测方法很可能被进化的人工智能技术和巧妙的提示所规避。作者认为，应该研究如何以诚信、透明和诚实的方式使用LLMs，而不是在人工智能聊天机器人和人工智能聊天机器人检测器之间进行徒劳的军备竞赛。 研究论文中的作者贡献声明和致谢应该清楚而具体地说明作者在准备稿件和分析时是否使用了ChatGPT等AI技术，以及使用的程度。他们还应该指出使用了哪些LLMs。这将提醒编辑和审稿人更仔细地审查稿件，以发现潜在的偏见、不准确和不当的来源。同样地，科学期刊在使用LLM方面也应该透明，例如在选择提交的稿件时。 研究机构、出版商和资助者应该采取明确的政策，提高对对话式人工智能在准备所有可能成为出版记录一部分的材料方面的认识，并要求其透明。出版商可以要求作者证明这些政策得到了遵守。 Nature和Science主编的观点 Nature和Science的主编告诉Nature的新闻团队，ChatGPT不符合作者资格的标准。 Nature杂志主编Magdalena Skipper说：“作者身份的归属带有对工作的责任，这不能有效地适用于LLMs。作者在撰写论文时以任何方式使用LLMs，如果合适的话，应该在方法或致谢部分记录其用途。” Science主编Holden Thorp说：“我们不允许人工智能被列为我们发表的论文的作者，使用人工智能生成的文本而没有适当的引用可能被视为剽窃。” --来自nature文章ChatGPT listed as author on research papers: many scientists disapprove 目前，LLM不应成为稿件的作者，因为他们无法对自己的工作负责。但是，研究人员可能越来越难以确定LLMs在其研究中的确切作用。在某些情况下，ChatGPT等技术可能会根据作者的提示生成手稿的重要部分。在未来，LLM可能会被纳入文本处理和编辑工具、搜索引擎和编程工具。因此，它们可能会对科学工作做出贡献，而作者不一定知道其贡献的性质或程度。这违背了今天对作者身份、剽窃和来源的二元定义，即某人要么是作者，要么不是，来源要么被使用，要么没有。政策将不得不进行调整，但完全透明将始终是关键。 由人工智能设计的发明已经引起了对专利法的根本性反思。 人工智能正在违反专利法  专利制度假定的发明人是人。 然而将人工智能系统命名为发明人的专利申请已经在100多个国家提交。 如果法院和政府裁定人工智能发明不能申请专利，其影响可能是巨大的。资助者和企业将不太有动力使用人工智能发明者进行有用的研究，因为他们的投资回报可能有限。社会可能会错过有价值和拯救生命的技术。 但是机器设计的发明还没有相应的知识产权法和国际条约。 --来自Nature文章Artificial intelligence is breaking patent law 在人工智能写作的或辅助的手稿的情况下，研究和法律界也需要弄清楚谁拥有这些文本的权利。是写人工智能系统训练的文本的个人，还是生产人工智能的公司，或者是使用该系统来指导他们写作的科学家？同样，必须考虑和界定作者的定义。 投资于真正开放的LLMs 目前，几乎所有最先进的对话式人工智能技术都是少数拥有人工智能开发资源的大科技公司的专有产品。OpenAI主要由微软资助，其他主要科技公司也在竞相发布类似的工具。鉴于少数科技公司在搜索、文字处理和信息获取方面的近乎垄断地位，这引起了相当大的道德担忧。 对研究界来说，最直接的问题之一是缺乏透明度。ChatGPT及其前身的基础训练集和LLMs是不公开的，科技公司可能会隐瞒其对话式人工智能的内部运作。这与透明度和开放科学的趋势背道而驰，也使我们很难发现聊天机器人知识的起源或差距。 为了应对这种不透明性，应该优先开发和实施开源的人工智能技术。 拥抱人工智能的好处 随着学术界的工作量和竞争加剧，使用对话式人工智能的压力也在增加。聊天机器人提供了快速完成任务的机会，从努力完成学位论文的博士生到需要为资助提案进行快速文献综述的研究人员，或者在时间压力下提交分析报告的同行评审员。 在目前与偏见、出处和不准确有关的问题被解决的情况下，这项技术有巨大的潜力。重要的是要研究和推进LLM的有效性和可靠性，以便研究人员知道如何将该技术明智地用于具体的研究实践。 人工智能技术可能会重新平衡学术技能组合。比如，它可能会减少对某些技能的需求，如进行文献搜索的能力。它也可能引入新的技能，如提示工程（设计和制作用于提示对话式人工智能模型的文本的过程）。 如果我们只关心性能，随着人工智能技术的发展，人们的贡献可能会变得更加有限和模糊。在未来，人工智能聊天机器人可能会产生假设、制定方法、创建实验、分析和解释数据，并撰写手稿。代替人类编辑和审稿人，人工智能聊天机器人也可以评估和审查文章。虽然我们离这种情况还有一段距离，但毫无疑问，对话式人工智能技术将越来越多地影响科学出版过程的所有阶段。 扩大讨论范围 鉴于LLM的颠覆性潜力，研究界需要组织一场紧急而广泛的讨论。 作者呼吁立即举办一个关于发展和负责任地使用LLM进行研究的持续国际论坛。利益相关者，包括不同学科的科学家、技术公司、大型研究资助者、科学院、出版商、非政府组织以及隐私和法律专家将参加这个论坛。 作者提出了一个可以在这个论坛上讨论的问题清单，见"供辩论问题"。 供辩论的问题 ● 哪些研究任务应该或不应该被外包给LLM ● 哪些学术技能和特征对研究人员来说仍然是必不可少的 ● 在人工智能辅助的研究过程中，哪些步骤需要人类验证 ● 应该如何改变研究的完整性和其他政策以解决LLM的问题 ● 应该如何将LLM纳入研究人员的教育和培训中 ● 研究人员和资助者如何帮助开发独立的开源LLM，并确保这些模型准确地代表科学知识 ● 对LLMs应该有什么样的质量标准（例如，透明度、准确性、偏见和来源），哪些利益相关者对这些标准以及LLM负责 ● 研究人员如何确保LLM促进研究中的公平，并避免扩大不公平的风险 ● 应该如何利用LLM来加强开放科学的原则 ● LLM对科学实践有什么法律影响（例如，与专利、版权和所有权有关的法律和法规） LLM可能是一把双刃剑。它们可以帮助创造公平的竞争环境，例如消除语言障碍，使更多的人能够撰写高质量的文章。但是，与大多数创新一样，高收入国家和享有特权的研究人员很可能会迅速找到利用LLM的方法，以加速他们自己的研究并扩大不平等。 重点应该放在拥抱机会和管理风险上。科学界将找到一种方法，从对话式人工智能中获益，而不会失去科学工作中的好奇心、想象力和发现。 参考资料 van Dis EAM, Bollen J, Zuidema W, van Rooij R, Bockting CL. ChatGPT: five priorities for research. Nature. 2023 Feb;614(7947):224-226. doi: 10.1038/d41586-023-00288-7. Stokel-Walker C. ChatGPT listed as author on research papers: many scientists disapprove. Nature. 2023 Jan;613(7945):620-621. doi: 10.1038/d41586-023-00107-z. https://www./articles/d41586-022-01391-x |
|
|
