晓木虫首页学术数据库客户端
开启辅助访问 设为首页赞助得金币注册指南网站导航

 找回密码
 注册账号

QQ登录

微信登录

也谈科研评价体系

摘要: 在做了这么多准备工作之后，我们提出一个新的基于评委评价体系。出于公正和公平性考虑，不仅这个评价体系的规则要透明，而且评价本身和相关数据也要透明。所以，需要设 ...
   在做了这么多准备工作之后，我们提出一个新的基于评委评价体系。出于公正和公平性考虑，不仅这个评价体系的规则要透明，而且评价本身和相关数据也要透明。所以，需要设立一个面向所有公众的公开网站，上面公布所有科研工作者（同时也是评委）以及他们的水准，并提供用来评估科研工作和科研工作者的平台。除了保证评价体系所有信息公开透明之外，还有其他一些好处。首先、公开网站能方便大家能景仰真正一流科研工作者，给他们相匹配的认可程度。其次、能了解这些人为什么会被认为是一流的。更重要的是可以让其他科研工作者知道其中的差距，并且有努力的方向。

   我们先讨论如何评价研究工作。评价过程分三个阶段。

a、提名期（时间长度固定，比如3个月）。分为两类：一、自己提名，每隔一段时间（比如3年），n流的研究工作者可以提名自己主导的几个（比如小于或等于3个）在这段时间内完成或者在这段时间内获得更高认可的代表性工作，目标可以是n流或者进军n-1流。二、他人提名，需要一些（比如3个）个n流本领域科研工作者在征得工作主要完成人同意之下，提名某个工作（其主要完成人可以是任何水准），目标是n流。提名者需要提交两份材料：第一份材料（不超过一定长度，比如3页）阐明为什么该工作符合该水准，可以用文章、项目、奖项、引用、影响等任何证据来说明。不同类型（比如理论/应用）的工作可以用不同的证据。第二份材料（不超过一定长度，比如1页）说明每位参与人的分别贡献是什么。需要所有参与人同意，该工作才能被提名。如利用地位/金钱/职位/权势等强行胁迫他人同意，将被认为是严重学术不端行为。权益被侵害人可以提出请求仲裁。

b、评价期（时间长度固定，比如6个月）。在平台上公开让大家评价[解决评委不足问题]。满足以下条件的所有研究工作者都可以评价：

- 评委和工作的相关系数要大于一定阈值[解决评委不是同行的问题]

- 评委的水准与所评价工作工作水准差距要小于一定阈值（比如2）[解决评委水准不够的问题]

- 评委和工作完成人利益冲突指数要小于一定阈值[解决评委有利益冲突的问题]

对于工作的评价，评委只需要在该工作提名时所递交的第一份材料回答“是”（+1）或者“不是”（-1），可以给也可以不给详细评论。评价结果对工作完成人一般情况下不公开，但评委的统计数据公开（包括正确率，个数，赞成和反对比例，在某相关系数范围内/利益冲突范围内赞成和反对的比例等等）[解决不严肃评价的问题]。但在某些极端特殊情形，比如之后的公示期质疑声浪过高（这点也需要严格定义），可以考虑公开所有评价。所以，评委评价科研工作时必须相当严肃。某个评委对工作的评价有权值，与评委和工作的相关系数成正比[给小同行评价更多的权重]，与评委和工作的冲突系数成反比[给有利益冲突的评价更少权重]，与评委的水准的成正比[给科研水准高的评委更多权重]，与评委的过往评价记录成正比[给评价记录好的评委更多权重]。最后一个工作的得分是所有评委的得分之和，当这个得分大于一定阈值的时候，该工作就算通过，否则就算不通过。在评价期结束后，在网站上公开所有评论的结果。

c、公示期（时间长度固定，比如3个月）。这段时间，提名人可以申诉。其他人在n流水准上的也可以质疑n流的工作。但是，申诉和质疑必须公开，而且不鼓励、不提倡使用申诉和质疑的权利，这主要作为保障措施。申诉和质疑必须有足够的理由和证据，滥用申诉和质疑的权利会留下不良信用记录。申诉和质疑启动相应程序。类似于评价，但是阈值有所变化。申诉和质疑的结果公开。而且每人每段时间（比如每年）只能申诉或者质疑1次。在申诉和质疑失败后，该时间线性延长。

公示期结束后，如其结论和评价期结论一致，则为最终定论。

   最后，当研究工作的水准确定以后，引入一个贡献衰减函数。随着时间的增长，研究工作的贡献逐年下降。原则上来说，越是好的工作的衰减越慢。如果做了一个像相对论那样的工作，就足够研究工作者一辈子去思考更深入的问题，比如大统一理论。做了一个诺奖级别的工作，差不多应该让研究工作者有一段（比如十年）的时间来思考能不能作出更重要的工作。但是，如果就是只在本领域顶级杂志/会议上发了一篇文章，那么这个衰减就应该相对很快被用完。这个衰减函数的引入，能够使得研究工作者，在已有贡献的基础上，潜心研究真正有突破意义的工作，而不需要为了应付评价而做太多重复劳动。但是，由于资源有限，也不可能让所有人都能这么做，必须要建立在已有贡献的基础上。同时，就算是已有贡献，根据贡献的大小，衰减的周期是也是有时限的。

也谈科研评价体系
评论

举报

大家都不容易！
评论 支持 反对

举报

大家都不容易！
评论 支持 反对

举报

大家都不容易！
评论 支持 反对

举报

谢谢您的分享！
评论 支持 反对

举报

大家都不容易！
评论 支持 反对

举报

以后多分享一些这样的有价值的帖子啊
评论 支持 反对

举报

以后多分享一些这样的有价值的帖子啊
评论 支持 反对

举报

好东西一定要看看！
评论 支持 反对

举报

论坛有你更精彩！
评论 支持 反对

举报

谢谢您的分享！
评论 支持 反对

举报

论坛有你更精彩！
评论 支持 反对

举报

好东西一定要看看！
评论 支持 反对

举报

谢谢您的分享！
评论 支持 反对

举报

好东西一定要看看！
评论 支持 反对

举报

返回顶部