AI审稿离我们还有多远？

大部分做科研的人应该都有过这样的经历：辛辛苦苦做出来的实验终于磨成了一篇看上去还不错的paper，然后择一个良辰吉日在投稿系统里提交，然后祈求能遇到“善良”的编辑和“善良”的审稿人。不可否认，除了稿件的科学水平和写作水平之外，还有太多因素可能决定稿件的命运，投稿人的名声、工作单位、所在国家、甚至性别，编辑和审稿人对稿件的第一印象甚至心情好坏，都可能决定稿件的命运。这种充满争议的传统科学出版审稿流程，也许在不久的将来就会发生巨变。根据Nature 的一篇新闻报道，人工智能（AI）正在向审稿领域进军。^[1]而促成这一转变发生的，则是科学出版的生态。

在这个稿件数量爆发的年代，传统审稿流程正受到越来越大的冲击。我们了解到很多化学领域的期刊在2018年中期的时候就已经收到了全年发文量3-4倍的稿件。更有甚者，某五分多的化学SCI期刊甚至发邮件通知作者，编辑初审可能需要2-3月的时间才会决定是否送审稿人审阅，然后审稿人评阅也可能需要至少2个月，如果不愿意等待“欢迎”撤回稿件。即使学术期刊的编辑团队正越来越大，全社会培养出来的研究者（即潜在审稿人）越来越多，也无法应对数量急剧膨胀的稿件。更何况，审稿的过程大部分是免费的义务劳动。据统计，20%的研究者承担了绝大部分的同行评议的工作，^[2] 而这部分研究者中，又有很多存在拖延提交日期的习惯。至于审稿质量，虽然难以量化，但是我们从很多杂志的文章质量就能看出端倪。如何快速、高效、科学地审阅学术论文，尤其是这还是一个义务劳动，就成为了一个巨大的问题。

目前，一些领先的出版集团已经推出了AI辅助的审稿系统。出版巨头Elsevier所采用的Aries审稿系统，在2018年6月引入了StatReviewer软件，利用AI检查稿件的统计资料以及实验方法是否完备。^[3]被大量主流学术出版社使用的科睿唯安（Clarivate Analytics）旗下ScholarOne投稿/评议平台也传出消息正在与丹麦的AI技术公司UNSILO合作，使用自然语言学习与机器学习来分析稿件，提炼结论与要点，总结研究的内容。^[4]

根据UNSILO网站，该软件目前已经完成了对PubMed Central的机器学习，未来将会通过抓取Web of Science上的内容，进一步扩大应用范围。从目前透露的消息看，该软件的功能主要是在对论文进行扫描后，重新提取文章的观点与关键词，尤其是被作者忽略，但是可能很重要的关键信息，然后将这些信息综合起来，从而帮助编辑或审稿人做出决定。有时一些作者确实会因为某些原因，用全新的概念包装其实没那么新颖的idea，让评议过程难以判断其新颖性。这样的一些“人为的掩盖”可能将在UNSILO的火眼金睛下无处遁形。同时，该工具也将会帮助编辑寻找合适的审稿人，做到更好的匹配。

有一些软件在辅助审稿上走的更远。由荷兰Tilburg University的研究人员开发的Statcheck软件被用来对paper的统计方法进行核查。^[5] 在用该软件检查学术期刊Psychological Science上发表的文章后，发现大约50%的文章存在至少一个统计学缺陷。很明显，审稿人可能会与作者犯同样的错误，但是软件能够识别它们。目前Statcheck的应用范围主要是标准格式的心理学刊物，而雄心勃勃的Elsevier将会利用StatReviewer，要求作者以一定的标准在投稿时附上统计数据，然后进行统一审查。

虽然一定程度上有助于提高稿件的质量，提升审稿速度，但是这些AI工具也存在一些缺陷。对于提炼概念的AI工具，最大的缺陷可能在于会忽视研究者的科学判断，一些全新的概念也有可能无法被识别。对于审查统计数据的AI算法，还需要更多的工作来统一统计数据，并且对于统计学方法使用较少的学科，就没什么明显作用。另外，一部分研究者也担忧，由于现在的AI技术依靠学习已有的数据库资料，那么这些数据库中的错误或偏差将会影响这些软件的准确性，为科研带来更大的困扰。

未来也许会有更多种类的AI工具加入到辅助审稿的队伍中，比如图片查重工具。同时，一些科技公司也在开发面向作者的付费软件，让作者在投稿前就检查清楚自己的文章里潜在的缺点。^[1,6]总而言之，同行评议中人的作用依旧不可忽视，但是AI的参与一定会越来越多。我们希望AI能够识别出paper中错误、投机取巧甚至存在学术不端的内容，提高审稿的效率，但同时也希望，AI不要破坏理性的科研中感性的那一点点闪光。

参考内容：

1. AI peer reviewers unleashed to ease publishing grind. https://www.nature.com/articles/d41586-018-07245-9

2. Peer-review 'heroes' do lion's share of the work.

https://www.nature.com/news/peer-review-heroes-do-lion-s-share-of-the-work-1.21031

3.https://www.ariessys.com/software/statreviewer/

4.https://clarivate.com/blog/news/clarivate-analytics-and-unsilo-partner-to-power-scholarone-with-ai/

5. The prevalence of statistical reporting errors in psychology (1985–2013). Behavior Research Methods, 2015, DOI: 10.3758/s13428-015-0664-2

6. Artificial intelligence in peer review: How can evolutionary computation support journal editors? Plos One, 2017, DOI: 10.1371/journal.pone.0184711

（本文由BingzzZ供稿）