|
摘要 学科领域里的优秀科学家就像“天际线”上升起的星星。天际线方案最大的优势在于避免了评价指标赋权重过程中的武断。 论文推荐人：武夷山 / 中国科学技术发展战略研究院
文稿：李江 / 浙江大学；编辑：李东 / 浙江大学 注：图片来源于参考文献中的论文
两院院士、千人计划、青年千人、长江学者、青年长江学者、杰青、优青、拔尖人才……，我们有很多人才遴选计划激励着科研工作者好好干。夸张地说，很多人认为头上不戴顶“帽子”就觉得低人一等。人才遴选主要依赖于科学家的科研业绩，我们有很多定量学术评价指标，用于衡量科学家的学术绩效，例如，h指数、g指数、发文量、被引次数……，此外，还要考察科学家的科研项目、获奖、专著、社会服务与影响等等。 任何一个指标都只能衡量科学家的某一个维度或几个维度的特征，而不能全面地揭示科学家的学术绩效。所以，我们常常看到各类评价体系，罗列一组指标，采用各种“科学的方法”确定权重，然后，标准化、加权、累加，得到总分并排名。从科学的角度来看，用任何方法获得权重都是武断的。之前没有人指出来，是因为还没有找到更好地方案。今天小编分享的论文提出了一种超赞的解决方案。 选择餐厅吃饭时，我们通常非常在意食物的品质和服务的质量。如果有一家餐厅在这两个方面都无人能及，那么，这家餐厅绝对是首选。但是，多数时候我们发现食物的品质和服务的质量难以兼得，于是，直接的方法就是对候选的每个餐厅的这两个指标打分，然后加权累加得到排名。Sidiropoulos等人将两个指标的打分结果画在二维坐标系里，如上图所示，并认为，对于图中的任意点S而言，如果没有另一个点在两个指标的分值上都比它高，那么，点S就可以被视为优秀的点。这样操作的结果，可能会得到一组点，这些点连接在一起，形成一条“天际线（Skyline）”。天际线上的点都是优秀的点，都是冉冉升起的星星，因此，天际线可用于遴选优秀科学家。
优点1：避免了武断的赋权重方法 天际线的操作过程中，同样使用了两个指标的分值，但并不需要为指标赋权重。避免赋权重过程中的人为干预之后，能极大地提高遴选方案的可重复性。
优点2：避免了单个指标的片面性 h指数常用于科学家学术影响力评估，但该指标只考察科学家的发文量与被引次数两个方面，而忽视了学术发展轨迹、年限等其他因素。此外，科学家遴选过程不仅考虑论文、还考虑科研项目、获奖、社会影响等一系列因素。天际线的优势在于可以综合使用一组指标，从多个维度全面揭示科学家的学术绩效。
缺点1：冠军只能有一个时 冠军只能有一个时，天际线可能不能奏效。如上图所示，如果我们要给朋友建议一组餐厅，天际线遴选方案超赞，但我们要自己挑选一家餐厅吃饭时，便陷入纠结，因为天际线上一共有6个点。正因为如此，奥运会比赛采用多指标加权的方法评选体操团体冠军，好声音比赛采用多指标加权的方法评选年度冠军。
缺点2：排名情结 每个人心中都有一个“我比你强”的情结，这种情结需要一个排名得以释放。于是，我们从小学开始，通过考试排名证明我比你强，不行的话，我钢琴十级，比你强，再不行的话，我国家二级运动员，踢球比你强……。这种情结深深地印在每个人心里，所以我们乐此不疲地点击各种排名。看到大学排行榜里浙江大学排在南京大学前面的反应是：看，我比你强；看到南京大学排在浙江大学前面的反应是：哼，瞎扯。排行榜受关注的原因，不是它科学合理，不是它提供了信息，不是它解决了问题……，而是它提供了“我比你强”的依据。在这方面，“天际线”可能无能为力。
天际线的测试效果 Sidiropoulos等人用了几组数据测试天际线的遴选效果，研究发现，天际线遴选出的科学家与同行评议遴选出的图灵奖等奖项的获奖人在很大程度上一致，因此，天际线可在一定程度上作为同行评议不可行时高效的替代方案。此外，历时数据显示，天际线上的科学家大概每5年换一波，这是科学共同体的新老更替规律。
参考文献 Sidiropoulos, A., Gogoglou, A., Katsaros, D., & Manolopoulos,Y. (2016). Gazing at the skyline for star scientists. Journal ofInformetrics, 10(3), 789-813.
一个超赞的优秀科学家遴选方案 | 
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
照妖镜