约 10% 论文使用了 ChatGPT 写作辅助


最近一篇预印本文章 [1]显示,2024 年收录于 PubMed (截止至 2024 年 3 月)的论文中,约有 10% 使用了 ChatGPT。

ChatGPT 的问世,让学术论文中一次词语的使用突然高比例的增长。研究人员创建了一个“超额使用”(excess usage)指数来评估词语的使用受 ChatGPT 的影响。对于一个指定的词语,他们拟合了该词语在 2010 年至 2022 年使用频率的趋势,并把这个趋势外延至 2024 年,并与 2024 年(截止至 3 月)实际出现的频率作比较(差值,或者商值),差异越大表明该词语的使用受 ChatGPT 的影响越大。

他们发现,诸如 delves,potential,steatotic,these,finding,showcasing,underscores,crucial,sigificant 等词语的使用受到了 ChatGPT 的影响最大。他们利用这些被“超额使用”的词语作为标记,进一步评估了 2024 年收录于 PubMed (截止至 3 月前)的论文受到了 ChatGPT 影响的比例。

例如,potential 一次的“超额使用”指数是 0.04,以此估算,约有 4% 的论文受 ChatGPT 的影响。但由于每篇文章是否包含“超额使用”词语,以及包含的“超额使用”词语各不相同,研究人员通过使用不同的“超额使用”词语组合,最终估算得出:2024 年收录于 PubMed (截止至 2024 年 3 月)的论文中,约有 10% 使用了 ChatGPT。

他们进一步发现,计算,环境,生信等领域,非英语国家和地区(如中国,韩国,印度尼西亚,泰国等)的论文,以及 Frontiers 和 MDPI 两个出版商的论文受 ChatGPT 影响更严重。

ChatGPT 在学术论文的使用受到了日益增长的关注,包括担心它被使用在数据/图表造假,以及受其训练数据集的限制,人们也担心 ChatGPT 的输出结果会引起一些偏见。如此高的比例(10%)的论文被证实使用了 ChatGPT 进行写作辅助,提醒我们有必要更深入了解 ChatGPT 对全球学术社区的影响。



Reference

[1] 10.48550/arXiv.2406.07016






Author: Scientist Press

E-Mail: 5GH@5gh.org.cn

Document ID: 5GH-SciPress-20240625.001

Publication Date: 2024.06.25

This article is licensed to the 5GH Foundation under a CC BY-NC-ND 4.0 International License

南方医科大学利用 ChatGPT 生成高仿实验图片,几乎能以假乱真

随着大语言模型的快速发展,它为学术不端者提供了更为有力的工具,引起了日益增长的关注。虽然说,技术本无罪,对错都在于使用它的人。但是,面对着新的挑战,我们全球学术社区是否做好了应对的准备?


因为数据管理失误而被撤稿?应该如何避免?

希望这些前人的经验能帮助我们的研究人员更好的管理数据。


论文作者越多,质量越好,引用越高?

长期以来,学术社区有一个观点。“大合作出大成果”,因而通过多种措施推动研究人员间的合作。但这个观点是否在所有情况下都成立,是这些措施是否会带来收益的重要基础,而成为我们迫切需要回答的问题。


双盲评审增大论文被拒稿几率?

虽然这项研究只是针对美国渔业协会旗下的 6 个学术期刊,但它反映了学术社区的一些共性:更难找到审稿人。这可能学术社区快速分享各自成果的需求形成了一对矛盾。此外,关于双盲同行评议的结果,也可能为学术社区后续改革同行评议提供了参考。