约 10% 论文使用了 ChatGPT 写作辅助
最近一篇预印本文章 [1]显示,2024 年收录于 PubMed (截止至 2024 年 3 月)的论文中,约有 10% 使用了 ChatGPT。
ChatGPT 的问世,让学术论文中一次词语的使用突然高比例的增长。研究人员创建了一个“超额使用”(excess usage)指数来评估词语的使用受 ChatGPT 的影响。对于一个指定的词语,他们拟合了该词语在 2010 年至 2022 年使用频率的趋势,并把这个趋势外延至 2024 年,并与 2024 年(截止至 3 月)实际出现的频率作比较(差值,或者商值),差异越大表明该词语的使用受 ChatGPT 的影响越大。
他们发现,诸如 delves,potential,steatotic,these,finding,showcasing,underscores,crucial,sigificant 等词语的使用受到了 ChatGPT 的影响最大。他们利用这些被“超额使用”的词语作为标记,进一步评估了 2024 年收录于 PubMed (截止至 3 月前)的论文受到了 ChatGPT 影响的比例。
例如,potential 一次的“超额使用”指数是 0.04,以此估算,约有 4% 的论文受 ChatGPT 的影响。但由于每篇文章是否包含“超额使用”词语,以及包含的“超额使用”词语各不相同,研究人员通过使用不同的“超额使用”词语组合,最终估算得出:2024 年收录于 PubMed (截止至 2024 年 3 月)的论文中,约有 10% 使用了 ChatGPT。
他们进一步发现,计算,环境,生信等领域,非英语国家和地区(如中国,韩国,印度尼西亚,泰国等)的论文,以及 Frontiers 和 MDPI 两个出版商的论文受 ChatGPT 影响更严重。
ChatGPT 在学术论文的使用受到了日益增长的关注,包括担心它被使用在数据/图表造假,以及受其训练数据集的限制,人们也担心 ChatGPT 的输出结果会引起一些偏见。如此高的比例(10%)的论文被证实使用了 ChatGPT 进行写作辅助,提醒我们有必要更深入了解 ChatGPT 对全球学术社区的影响。
Reference