[重发]（独家详细版）博士后基金评分方式及其公平性探讨——小组分加权，系数即命运？

2021/7/8 更新：昨天听朋友说基金会领导在基金申请培训时再次提到了我的帖子，可惜我又没在现场听到。感谢官方的认可。
这两批次的基金申请培训时，领导都有建议博士后们感兴趣的可以来看我的帖子。但是，发现居然在6月中旬左右到7月初的某一天删除了我的帖子。
咨询区长表示没有违规内容，于是我在今天重新发布。希望能收到论坛关于删帖的解释。

-----------我是分割线-----------

2021/1/6 更新：听说今天基金会领导在基金申请培训时提到了我的帖子，算是认可了其中的内容。
虽然不在现场，也算是达到了初衷，牺牲前轰轰烈烈了一把吧。

-----------我也是分割线-----------

2020/10/28 更新：目前了解到的最高的加权系数>2，所以只要原始分50多就能按100多的最终分数进行排名哦 基准组哭了，100分都不中啊
这一大组中甚至出现了分数高20分排名反而低70名的情况，是我了解到的最夸张的一组。
而目前看到的最低的加权系数在0.7不到，也就是这一小组的博士后即使原始分满分，大致也按70不到的最终分数进行排名。
并且，那个大组看人数应该就两个小组，所以同大组的一个小组加权系数<0.7，另一个小组的加权系数是1，系数小于0.7的那一小组恐怕全军覆没了。



-----------太长不看版分割线-----------

太长不看版：大组拆小组，小组分加权，系数即命运？


可悲的是，当你以为自己不中是写本子能力实力问题时，也许只是因为系数运气；当你以为自己中了是努力修本子终于得到认可，或许还是因为系数运气。
而且，其实即使在同一个大组，也有相当一部分没中的本子原始分是比中了的本子原始分要高的。



-----------原文分割线-----------

68批博士后基金结果已出，又是几家欢喜几家愁的时刻。

我这一次是第三次申请，10月13日已经通过自己的技术手段知悉没中，果然结果一样。
其实本来是不想发这个帖子的。因为首先发帖有风险，其次今年既然已经公示，就不会更改了，而我可能是最后一次申请，今后如何或许和我无关了。
但是，我觉得自己作为一个读书人，实在不应被培养为一个事不关己高高挂起的人。
本人在67批的时候曾经攻破了博士后基金的评分方法，知晓了很多中了基金的和没中基金的人的分数。
同时，我及时地反馈给了官方，上一批和这一批都曾在名单公示前联系博士后基金委，与官方讨论技术漏洞和评分方式公平性，但都没在公示前收到回复。
在这里，我想告诉诸位，博士后基金的真实评分方式是怎样的。我说的不是保密信息，因为官方曾通过电话公开给许多发现自己和同事分数排名不对应的人。
而有趣的是，除开他们，世人都认为博士后基金面上资助因为双盲，是非常公平并且能反映博士后的真正实力的。那诸位请阅后再谈。

由于一些方向的人数太多，无法按整个大组送到评审老师处，于是官方会把本子以随机的方式分为若干小组。
这里明确两个定义，同二级学科的为一个大组，一个大组按人数多少会分为若干个小组，设某个大组分成的小组共有n个。
由于不同小组的评审老师不同，官方出于公平性考虑，在把不同小组的分数汇总至大组时，引入了加权系数的概念。
加权系数的算法大致是这样的，即会以小组1为基准，其中有两份对照本子会被送到小组2~n，由不同的评审小组老师评分。
这样就获得了小组1与小组2~n中两份对照本子的分数，可通过某种算法（可能是均分相除），以正比例函数的方式，把小组2~n的分数归化为小组1的标准。
这里再明确三个定义，每个小组评审老师给出的分数是原始分，正比例函数的比例系数为加权系数，原始分乘以加权系数是最终分数。
排名是各个小组的本子汇总到大组，按最终分数排名的。
其实，也不排除是以一次函数的方式计算加权系数，但也就是多个截距（y=ax 变 y=ax+b），并不会有太本质上的区别。
是的，官方是为了公平性，出发点完全是值得肯定的。整个方法是由出色的顾问专家学者提供的，真的是很棒的方法。似乎没什么不妥。

说完了背景，我们来说实际情况吧。
67批的时候，和我在一个大组且几乎同分的（分差不到0.1）朋友，最后是大组前三（我们组120人左右），而我线外。
同样67批的时候，某个大组原始分超过90分、88分的人不中，而80出头的朋友中了。
为何会出现这样的情况？诸位博士后朋友们肯定猜到了。是的，加权系数。
67批时我的加权系数是0.99，和我同分的朋友是1.08；今年我的加权系数是1.01，我知道有个同大组的小组加权系数是1.09。
试问，满分100左右的如何和满分110左右的相比？这也是为何从上一批开始，我就持有一种观点，就是加权系数决定命运。
理想和现实总是有差距的，方法虽好，但施行起来似乎……

接下来说说为何我认为加权系数可能会有问题，以及产生这种问题的原因。
已知存在1.10左右的加权系数，那么假设一个小组第一名的分数是90，最终分数为90*1.1=99，而这个小组的79分将会有79*1.1=86.9的最终分数。
我相信每个小组的评审老师都是认真负责的，最后各自给出的分数将会接近于正态分布，且每个人给的最高分可能在90出头，均值可能在79上下。
设上线分数为86.9左右，另一个小组加权系数为1，某人的分数为86.5，此人也许是该小组的前三或前五（从这两批的情况看，这些取值都是合理的）。
看，高加权系数小组的中位水平的本子是可以反超另一个小组的前三到五。
合理推测，最后中了的本子，绝大多数，也许至少一半都在那些高加权系数的小组中，而低加权系数的小组中即使前三，也未必能中。
出现这样情况的原因还是在于不同评审老师在面对同一个本子时打分有差异，这本是很正常的事。
也就是说，如果每个小组大约是3个评审老师，前面说的对照本子会遇到3*n个评委，而其他本子只有3个评委。
这两份对照本子在不同小组的3个评审老师手下得到的分数的差异决定了加权系数。
但我敢说，这两份对照本子在各个小组的均分离开3n个评委给出的总均分都是有差异的。
所以，这其实是一种把不同评审老师对两份对照本子的喜好程度的不同还有水平位次的不同强行拉平的方法。

再说个事情。67批和68批，官方公开的都是加权前的原始分，所以67批时，曾有个热门帖子，就是很多人发现自己同一大组的分数和排名不对应。
可以这样说，官方是问心无愧的，这是一种标准的算法，并不是一些友怀疑的人为操作，所以官方敢于公开原始分，当有人质疑不对应就会解释原因。
但是，官方为何直接公开原始分呢，大家想过没有。原因似乎是这样的，加权后，部分人的总分可能超过100，三项分数可能超过30、60、10。
如果公开比评分标准中的分数上限还高的分数，尤其不排除这些人可能本子还没中，那么引起的问题和质疑将是更大的。
事实上这也说明，现行的加权系数算法在某些情况下是会产生问题的。
例如68批，了解到某一小组的加权系数超过了2，那么这一小组的最高分可以接近200，基准组即使满分100也无法超过加权系数为2的小组的50分……
而且已知，这一小组里有几位最终分数超过100的博士后也没有中，因为他们的原始分在50左右，本来在自己小组也是很靠后的，若公开100多不中……

相信大家都认同，世界上没有绝对的公平。也许我是那种运气很不好的人，所以67批和68批都死于加权系数。
羡慕那些有实力也有运气的博士后朋友。尤其获得一等资助的博士后们，他们真的是既有拿到小组第一的实力，又有被分到最高加权系数小组的运气。
我也确定，官方设立这种加权算法的初衷一定是为了解决很多年前不设加权系数时产生的某些问题。
由于官方并没有回复我的反馈，我也没有机会和官方沟通，我并不知道多年前不设加权系数时会产生什么问题。
但是可以猜想，会不会是中的本子都分散在特定的几个单位，例如那些双一流大学了？这确实会有问题，不过这不正是说明这些单位本来也强吗。

最后想说，本人虽然有激动过，但在从头阐述我所知所想时，心态是愈发平静的，也站在博士后和官方两方换位思考了。
我很希望这个帖子能解决很多友对于博后基金的疑问，也很希望官方能够让评分体系越来越科学。
这次公布的依然是原始分，所以可能还会有很多博士后和同事比较后发现排名和分数不对应，那么这个帖子也算是替官方作了解释。
我尽到了自己的义务，例如我在第一次发现技术漏洞后就和官方沟通过，也多次试图和官方联系交流，现在又把这些非涉密的信息分享给友们。
可能不会再申请博士后基金面上资助了，那么就让我的最后一次牺牲显得轰轰烈烈一些吧。
希望学术圈和科研界的未来是美好的。

以上。

某位三申博后基金三挂的博士后
2020/10/27

[ last edited by mikexu1992 on 2021-7-9 at 19:57 ]

2022/1/5 更新：今天基金申请培训时博管处领导又提了我的帖子，很感谢老师的认可。
我个人已经决定离开学术圈了，亲们珍重。

[ Last edited by mikexu1992 on 2022-1-5 at 20:34 ]

发人深省的帖子！由于对现行的分数计算过程并不了解，以下纯属个人偏见。分组不随机或过小都会降低组间的公平性。申请书随机分组的前提下，减少组数并按组均分上会或资助数量能保证评审的公正性，如果非得各组混合排序，可以预先进行组内分数归一化统一各组的分数范围（例如0~100、60~100等）。为减少函评时的二次分组，鉴于评审过程采用结构化评分，可以增加每位专家评阅的申请书数量，同时减少每位专家评判的指标数量，例如，每位专家只对更多申请书的某1或2个方面（例如创新性、可行性等）进行评分。另外，增加评判同一指标的专家数量，分析同组所有申请书的同一指标得分及排序在所有专家之间的差异性，剔除明显差异于其他专家的评判结果后（类似于剔除离群值；应该有统计学方法可以实现），再进行后续的结构化分数计算，同时根据这个差异性系数量化各位专家的“大众化程度”或“离群程度”。

提高自己的创新点我觉得是最重要的，评阅人一般不会否定出彩的，有创新的申请书。打铁还需自身硬。

今天基金申请培训时博管处领导又提了我的帖子，很感谢老师的认可。
我个人已经决定离开学术圈了，亲们珍重。

我今年申请的第69批，总分78+，组内排名230+，同事跟我一个组（编号和组内人数都一样）总分76+，排名160+，之前一直不理解，现在想来很可能是引用了加权计算，感谢楼主解惑

祝福楼主。如果我是评审老师，读完楼主的贴子，我都想优先资助你立项解决一下目前博后基金评价体系的一些弊病了。楼主不但写作有条理，而且理由充分，数据详实（虽未披露来源，但是就给人一种可信度很高的感觉）。从楼主这篇文章的框架来看，应该是受到过极好的科研训练，且自身科研能力极强的。特别遗憾，获悉楼主已经决定离开xsq，祝楼主好运，期待楼主在业界做出亮眼的成绩，相信你一定能做出令人刮目相看的成绩。

有没有啥指导性意见哇

写的完在好有什么用？总分是固定的，专家确实是认可你给90多分，但是乘以系数0.7后也就60多分了。系数对排名高的，评分高的很不公平？

那有大佬能解答二级学科全军覆没的情况吗？71批已知的一个二级学科没有一个人获得资助，这又是为什么呢，求解惑

感谢楼主解惑。也赞同其中一位友说的，打铁仍需自身硬，只要本子够出彩，不会被埋没。如果处于边缘状态，可能运气好被选中，也可能运气不好落选。有精力研究代码规律或者小技巧，何不把这时间用来好好提高自己的本子质量。当然，希望评审规则越来越规范。

谢谢楼主解惑，终于明白自己已经接近89分了排名仍然不够靠前，下次继续努力，还有希望。

希望本次能有个好系数

强强强。

选代码很重要的

两次没中地路过·哎

……

加油

加油

我也是3次机会都没了

写的很棒。现在等于就是需要把标准本子送的人足够多来让系数更准确了吧。

谢谢答疑解惑！

所以现在中了就不会出现分数，是因为这个吗？

加油

70批加权照旧。

写得很好！分析得很透彻。可能这就是现实吧。