如下:
感觉今年的一个特点就是打分非常随意,往年审稿人很少打出8分及以上,如果有的话一般都是一致认为是好文章,而今年割裂的分数比比皆是。两个borderline(5-6)一个strong accept 8-9,一个reject 2-4的非常常见。而且confidence都3以上。
这是非常不可思议的,如果都是了解某个领域的人,不应该意见如此割裂。而且很多人只针对一两点瑕疵就做出来极低分数,另一些则因为自己没发现明显错误就可以给9,然后一半人划水打borderline。
这说明现有的审稿制度完全不能胜任如此大规模的会议,也势必毁掉了neurips招牌(其实现在就已经约等于aaai来)。
每一年,NeurIPS 大会都会对组织作出新的调整。今年即将在 12 月举行的大会,审稿阶段的新修改是公开了审核流程。
首先最重要的是,大会的全部审稿流程已经转移到了 OpenReview 上了。这是一个灵活的论文审核平台,可以进行大量的自定义,并且可以根据会议需求的发展快速进行调整。
它带来了许多基础方面的改进,包括可以自我管理的用户历史信息,利益冲突声明中的责任制以及程序委员之间交互方式的改进。
和往年一样的是,论文的审稿过程仍遵循保密原则。审核过程中提交的内容仅对指定的程序委员会成员显示,NeurIPS 不会在这一过程中接受公开意见。在通知截止日期之后,被接收的论文将被公开在网站上,并接受非匿名公众评论。
匿名的评审意见、对评审意见的意见和作者的回复都将被公开。不过在评审过程和评审之后,所有的审核者内部讨论不会被公开。
以上看起来和之前使用 OpenReview 系统的机器学习会议没什么两样,重点来了:在默认的情况下,被拒绝的投稿不会被公开。但在 NeurIPS 2021 上,被拒论文的作者可以在通知截止日期后的两周内选择公开其匿名化的论文,并在 OpenReview 中公开发表评论。
在被公开的论文之下,系统同样也会把审稿意见、作者的讨论等内容全都一并曝光出来。大会方面表示,尽管现在我们还是无法利用开放审稿系统的全部好处,但新政策确实可以给论文作者们提供一个可以公开显示,并反击论文评审中存在问题的机会。
「我们认为这是最好的折中方案,因为它还可以让初级研究人员避免因为有害的公共批评而遭受打击,」NeurIPS 2021 大会的程序主席们在博客中写道。
在以往的会议中,有时研究人员会抱怨在 rebuttal 阶段领域主席未对作者提出的辩解给出任何实质性意见,也不会对误解做出解释。现在这类问题有了新的解决渠道,利益相关者看起来可以继续讨论,外界也可以参与进来。
根据 NeurIPS 2020 试验的结果,如果经过完整的审稿流程,大约有 6% 的直接拒稿(desk rejection)论文可能会被接收。因此,NeurIPS 2021 今年决定取消 desk rejection。但如果论文违反页数限制或其他提交要求,仍可能会被拒稿,无需经过审核。
为了最大程度地减少审稿过程中的偏见和误解,NeurIPS 2021 组委会将在提交初审和作者反馈后允许作者与审稿人进行「滚动讨论」。在滚动讨论阶段,作者可以回答审稿人提出的问题。
为了让作者在回答之前能够仔细分析审稿意见,在讨论开始之前,还将划定一个反应阶段。如果出现新的审稿意见,作者也能在讨论阶段及时回复。
为了阻止没有实质性修改的重复提交,大会要求论文作者声明论文不是此前任何其他同行评审过程的拒稿。和去年一样,重复提交的作者必须提交一份描述新更改的文档。在机器学习社区,有一些证据表明:审稿中存在「重复提交偏见」。
在一项面向新晋审稿人的调查中,审稿人给标有「重复提交」的论文评分较低。另一方面,COLT 2019 允许将提交给 STOC 的论文同时提交给 COLT,如果论文已被其中一个会议接收,就从另一会议撤回。
尽管 STOC 和 COLT 的审稿人共享了这些提交论文,但并没有证据表明存在「重复提交偏见」。为了大规模评估「重复提交偏见」,NeurIPS 2021 将随机从提交论文中选择一部分,只有这部分论文的重复提交信息对审稿人和区域主席可见。
当然,审核过程的成功取决于审核的质量和 NeurIPS 社区的努力工作。根据以往经验,NeurIPS 的论文提交数量每年以约 40% 的速度增长。到 2020 年,论文提交量超过了 9400 篇。
考虑到 ICML 2021(约 10%)和 ICLR 2021(约 15%)的增长,NeurIPS 组委会正在为可能的 12,000 篇提交量做准备。
没有专职审稿人、区域主席和高级区域主席的工作,会议将无法继续进行,这些角色至关重要。为了帮助培训 NeurIPS 社区的新晋审稿人,NeurIPS 组委会还在准备编写审稿教程。