纽约州立大学下州健康科学大学的医学生和研究员 Faisal Elali 以及纽约长老会/威尔康奈尔医学中心的医学抄写员和研究员 Leena Rachid 想看看人工智能是否可以写一篇伪造的研究论文，然后进行调查如何最好地检测它。

　　人工智能是科学研究中越来越有价值和重要的部分。它被用作分析复杂数据集的工具，但从未用于生成实际的论文以供发表。另一方面，即使基于完全捏造的研究，人工智能生成的研究论文看起来也很有说服力。但究竟有多令人信服?

图片来源：Unsplash/CC0 公共领域

　　在开放获取期刊Patterns上发表的一篇论文中，研究二人组展示了使用基于 AI 的语言模型 ChatGPT 制作研究论文的可行性。只需询问，他们就能够让 ChatGPT 生成许多编写良好、完全虚构的摘要。然后，假设的欺诈者可以将这些伪造的摘要提交给多家寻求发表的期刊。如果被接受，则可以使用相同的过程来编写具有虚假数据、不存在的参与者和无意义结果的整个研究。然而，它可能看起来是合法的，特别是如果主题特别抽象或没有经过特定领域的专家筛选。

　　在当前论文引用的先前实验中，人类同时获得了人类创建的和 AI 生成的摘要以供考虑。在那个实验中，人类错误地将 32% 的人工智能生成的研究摘要识别为真实的，将 14% 的人类编写的摘要识别为假的。

　　当前的研究团队决定针对三个在线 AI 检测器测试他们的 ChatGPT 伪造研究。这些文本绝大多数被确定为 AI 生成的，这表明期刊采用 AI 检测工具可能会成功转移欺诈性申请。然而，当他们使用相同的文本并首先通过一个免费的、在线的、人工智能支持的改写工具运行它时——共识一致转向“可能是人类”，这表明我们需要更好的人工智能检测工具。

　　实际科学是一项艰苦的工作，交流这项工作的细节是科学的一个重要方面，需要付出大量努力。但是，只要有足够的时间和咖啡，任何几乎没有毛的猿类都可以将听起来很合理的单词串在一起——本文的作者可以坚定地证明这一点。创建一个具有足够细节以看起来可信的假研究将需要付出巨大的努力，需要数小时研究如何最好地听起来可信，并且对于对恶意恶作剧感兴趣的人来说可能是一项过于乏味的任务。随着人工智能在几分钟内完成任务，这种恶作剧可能成为一个完全可以实现的目标。正如研究人员在他们的论文中指出的那样，这种恶作剧可能会带来可怕的后果。

　　他们举了一个合法研究的例子，该研究支持使用药物 A 而不是药物 B 来治疗某种疾病。现在，假设一项捏造的研究提出了相反的主张并且没有被发现(作为旁注，即使它被发现，收回引用和撤回研究的重印也是出了名的困难)。它可能会影响这些研究的后续荟萃分析和系统评价——这些研究指导医疗保健政策、护理标准和临床建议。

　　除了简单的恶作剧动机外，该论文的作者还指出了医学专业人员面临的压力，他们需要迅速发表大量出版物以获得研究资金或进入更高的职业职位。在某种程度上，他们指出，美国医学执照考试最近从分级考试转变为通过/失败模式，这意味着雄心勃勃的学生更加依赖已发表的研究来使他们脱颖而出。这增加了一个值得信赖的人工智能检测系统的风险，以消除可能污染出版环境的潜在欺诈性医学研究——或者更糟糕的是，提交欺诈性论文的从业者无法在患者身上进行实践。

　　AI 语言模型的目标长期以来一直是生成与人类文本无法区分的文本。我们需要 AI 来检测人类何时使用 AI 来制作与现实无法区分的欺诈作品，这不足为奇。可能令人惊讶的是我们可能这么快就需要它。