下载图标

研究文化:创造空间发展学术评估

  1. 露丝施密特
  2. 斯蒂芬·库里
  3. 安娜孵化 是通讯作者
  1. 美国伊利诺伊理工学院设计学院
  2. 英国帝国理工学院
  3. 美国多拉
专题文章
  • 引用0
  • 视图853
  • 注释
引用这篇文章为:eLife 2021; 10: e70929 内政部:10.7554 / eLife.70929

抽象的

大学和研究机构在做出雇佣、晋升和终身教职的决定时,必须对个人进行评估,但有人担心,这种评估过度依赖于研究质量的指标和代理衡量,而忽视了学术严谨性、数据共享和指导等重要因素。这些担忧导致呼吁大学和机构改革他们用来评估研究和研究人员的方法。在这里,我们提出了一个名为SPACE的新工具,旨在帮助大学和机构实施这类改革。该工具侧重于五项核心能力,可供各大学和机构在改革进程的所有阶段使用。

介绍

2019年,比利时根特大学宣布了一项评估教师的新政策,该政策标志着从衡量和排名的“激烈竞争”转向更注重评估和培养人才的整体过程(脸红,2019Saenen等人,2021年).教师们现在接受一个个性化委员会的指导,该委员会在五年周期结束时对他们进行评估。作为这个过程的一部分,教师们写叙述性的自我反思,以捕捉他们在研究、教学、机构和社会参与以及领导力方面的重大成就和未来抱负。

根特政策的目的是打破学术评估的方法,这些方法越来越被视为研究和学术的活力、生产力和社会相关性的障碍(奥伯特·波恩和平克斯滕,2021年).这个问题不是故意造成的。相反,这是由于在招聘、晋升、任期和资助决策的管理中越来越依赖研究质量的代理衡量标准:这些代理衡量标准被广泛使用是因为它们方便,而不是因为它们有意义。在大学排行榜上追求更高的排名也是造成这一问题的原因之一。

然而,现在人们普遍认为,对学术成就的度量过于简单化,分散了学者和机构对研究工作和文化最重要品质的更广泛和更深层次的考虑,如学术严谨、成果的快速传播、数据共享、并指导下一代调查人员(Müller和de Rijcke, 2017头发,2018哈奇和库里,2020a).更糟糕的是,这些方法通常会奖励那些能够获得资源或洞察如何“玩游戏”的人,这可能会导致机构优先考虑排名,而不是他们所声明的多样性、公平性和包容性目标(施密特,2020).

变革正在到来,但进展仍然缓慢。一个特别的困难是,尽管在像根特这样的地方采取了大胆的举措,但点解决方案和个人努力无法修复一个有缺陷的系统。除非大量机构愿意创造和维持支持持续变革所需的内部程序和文化条件,否则定义、启动和评估新的评估做法的努力不太可能成功。解决这类复杂的挑战需要一种协作的系统方法,该方法处理学术机构中进行评估活动的底层文化、基础设施和条件。

这一见解促使我们开发了一种名为SPACE的工具,各机构可以利用它来评估和发展自己的能力,以支持符合其使命和价值观的新评估方法(哈奇和施密特,2021年).空间可以适应不同的体制环境、地理环境和改革准备阶段,从而使大学能够评估可能影响其改革评估研究和研究人员的能力的内部制约因素和能力。SPACE基于DORA(一个旨在促进学术研究评估最佳实践的组织)在2020年发布的设计原则(哈奇和施密特,2020b),以及国际研究管理协会网络(INORMS)开发的称为范围的五步负责任评估方法;Himanen和Gadd, 2019).空间是通过迭代参与式设计过程开发的,涉及26个国家和六大洲的70多名个人。

SPACE是一个由两个轴(图1).一个轴描述了我们认为对支持更可持续的评估实践和原则至关重要的五个核心机构能力:学术标准;过程机制和政策;问责制;在制度文化;评估和迭代反馈。另一条轴表示机构对改革的准备程度:基础指的是开始改革的机构;扩张指的是已经有基金会的机构,下一步是全面推进改革;第三个阶段,扩展,指的是迭代地改进和扩展在一个机构中已知的工作。我们设想这个工具有两种用途。 First, it can establish a baseline assessment of the current institutional conditions, resources, and capacity to support the development and implementation of new academic assessment practices when making hiring, promotion, and tenure decisions. Secondly, the rubric can be used to retroactively analyze how the outcomes of specific interventions designed to improve academic assessment have been helped or hindered by strengths or weaknesses within the institution.

SPACE是帮助大学改革研究评估的一个工具。

空间是一个标题,帮助大学和其他机构改革如何评估研究和研究人员。一个轴描绘了我们认为对改革研究评估至关重要的五个机构能力:奖学金标准;过程机制和政策;问责制;在制度文化;评估和迭代反馈。另一个轴表示三个改革准备状态(基础;基本;缩放)。这个图显示了标题的缩写版本;完整的标题可以看出补充文件1.图1是从页2的顶部面板复制的哈奇和施密特,2021年

在这两种情况下,这个标准显然不是为了作为一种规范性机制,也不是为了对一个机构当前的学术评估状况做出判断。相反,它旨在帮助机构领导人反思他们的组织能够在多大程度上支持持续的和价值驱动的评估实践,以及他们可以在哪里集中精力进一步发展这些实践。

为了帮助我们优化这个标题,我们对来自不同改革阶段的机构的7个人进行了试点:这些人被挑选出来代表不同的观点、背景和学术角色,他们包括学院院长、政策顾问、研究管理员、教员和研究生。这帮助我们确定了各种各样的方式和背景,在这些方式和背景中,标题可以用来支持新政策和实践的发展。虽然试用这个标题的人分享了关于它的使用的有价值的信息,但他们没有时间或资源来完成一个完整的实施周期。因此,本文后面讨论的具体例子是指我们希望SPACE标题的使用将导致的结果,而不是由于试点活动而产生的变化。

早期的改革

在与个人在基础阶段的机构中进行指导时,一个积极的结果是明确而系统地表露先前被怀疑但未公开分享的见解。虽然这一练习可能揭示或证实关于缺乏准备进行实质性改变的令人不快的事实,但也可以是克拉夫。y潜在的下一步。例如,这些可能包括调整价值观和质量标准,以告知新的评估实践,或积极承认历史上因长期制度规范而被纳入或排除在外的人。尽管关注具体举措或尝试新事物的诱惑可能很强烈,简单地承认变革的必要性,并将准则作为一种手段来捕捉事物现状的真实快照,这是有价值的第一步。

我们也了解到,这些机构可能会努力发展所需的基本能力评估实践如果这样的改革是改革视为一项任务由少量的倡导者缺少资历或资源导航抵抗那些适应现状。要实施真正的变革,需要得到机构领导层的明确支持。但同样重要的是,新的学术评估程序要有一致的格式和结构,以减少对“合适性”评估的幕后渠道或个人偏好的依赖。这方面的一个显著的例子是分子生物物理与生物化学系为了消除潜在的偏见,申请终身职位助理教授职位的候选人被要求提交“盲法”申请,这些申请是匿名的,并去掉了他们之前的机构、资助者和他们发表过的期刊的名字。

最后,我们不断听到有人说,评估改革中涉及的各种权衡都是一个严峻的挑战。然而,这个标题可以帮助机构清晰地表达和剖析不同机构价值观或激励因素(如排名和公平性)之间的紧张关系。此外,这种讨论可以帮助机构更好地评估所涉及的权衡,并确定短期收益可能在无意中导致错过机会或浪费长期潜力的地方。例如,记叙文格式已显示出作为一种手段的前景,以承认学术成就和潜力,在代表性不足的群体,从而促进更大的公平和劳动力多样性(Lacchia 2021).虽然叙事简历等必威为什么打不开了创新可能在概念层面上得到接受,但如果被视为比现有方法更繁重、更耗时,它们可能会遇到阻力。然而,通过阐明明确的短期和长期目标,处于改革早期阶段的机构可以通过明确这些创新如何成为更广泛方案的一部分来强化这些创新的价值。

改革的中后期阶段

已经开始改革其评估做法的机构可以在寻求扩大这些改革的范围和规模时,使用该准则来确定潜在的优势和局限性。在一些试点过程中出现的案例中,我们听说,以批判的眼光看待一切照旧做法的更为纵向的影响,会暴露出看不见的脆弱性和意外后果。因此,开发评估改革的新方法可能需要确定并“撤销”保留遗留系统的普遍接受的做法。英国的开放大学就是一个例子,通过反复的大学范围的协商,开发了一种新的晋升途径,承认并奖励公众参与的学者(Holliman等人,2015年).

对现有体系的破坏或解构也可以提供重新考虑谁的声音被倾听和重视的机会。这方面的一个例子是,在寻找教师的过程中,让研究生提供反馈,甚至参与到寻找委员会中来,这是由美国社会学罗格斯大学。这种干预可以为招聘委员会提供新的见解,也可以让初入职场的学者深入了解通常不透明的学术职业发展方面的情况。

鉴于学术界重视研究甚于服务的倾向(Schimanski和Alperin, 2018年),建立和维护能力,灌输和引导评估实践的变化可能是一个重要问题(Saenen等人,2021年).我们听说建立和维护新做法和原则的工作需要奉献,时间和资源。若干评估领导人还强调,通过推进投资建设能力 - 即使对于相对简单的任务,例如对准价值和目标,也是为了确保在第一位置适当地设计实践。这发生在印第安纳大学 - 普渡大学印第安纳波利斯(Iupui)当教师委员会决定为奖励多样性,公平和包容性贡献的贡献贡献的新机会。部分过程包括创建小组委员会,以定义有关多样性,公平和包容性的明确质量标准,即Iupui内的个别学校可以采用或修改以适应纪律差异(费海提2021).

虽然定制一次性解决方案的能力可能是有吸引力的,但进一步扩大和扩大评估工作可能要求机构在改革的后期阶段发展新的能力,以平衡明确的标准和灵活性,如果他们想吸引和留住更广泛的学术界。例如,明确要求潜在的教员申请者提交最少数量的第一作者论文,可能会在无意中劝阻那些认为自己不符合规定模式的合格候选人。明确的标准很重要,但如果它们不能适应,可能会造成障碍。解决方案可能基于这样的原则,即允许各个部门或学科在保持制度一致性的同时定制它们自己的需求。一个例子是英国巴斯大学该机构在2017年使用了一个“任务-完成”工作组来制定研究评估和管理原则。这些原则——实践应情境化、循证、量身定制、透明和以专家判断为中心——同时提供跨不同学科的灵活性、定制性和问责性机制。

同样,拉丁美洲研究评估论坛(forec.)阐明了一系列原则,以解决西方出版模式和基于期刊的指标在人文社会科学中的影响。在拉丁美洲社会科学委员会的广泛社区参与后开发(CLACSO)这些原则帮助该地区的资助者和大学通过重新考虑并清楚地定义了研究“影响”来平衡常态和灵活性之间的常态张力。

大图片

对于任何机构而言,无论其准备就绪与否,只有同时抓住机构条件和基础设施的积极和消极方面,这个标题才会有效。与任何评估手段一样,不诚实地描述情况将导致不那么有用的结果。这也不是一个一次性的练习。正如很少有评估解决方案或干预措施一开始就能完美发挥作用一样,处于改革任何阶段的机构也将受益于数据收集、审查和改进机制,这些机制能够响应机构转变或新领导人和挑战的出现。随着时间的推移,建立反思性和加强性的机会,有助于确保研究评估过程和文化能够在必要时进行调整,但也能保持弹性。

如何使用这一称谓不仅取决于制度背景,也取决于地理位置。在有国家分类系统来评估研究人员的国家(如阿根廷和墨西哥),这个标题可能对机构在思考特定能力(如过程机制、问责制和机构内部文化)方面最有用。另一种办法是,也可以在较高一级使用它来帮助重新确定国家分类制度的标准。

在我们的试点练习中,各个阶段的机构的个人认为,标题可以由不同部门的个人团体和/或个人团体用于提供自下而上投入的手段,以改革计划在顶级运行劳动。具体而言,标题的产出可能反映不同甚至矛盾的观点,这取决于谁使用它应该被视为一种强度而不是弱点,使机构能够更充分地利用评估活动的多方面和系统性的性质。

来自148个国家的2万多个个人和组织签署了《旧金山研究评估宣言》(DORA),通过放弃基于期刊的指标(如期刊影响因子),以更全面地看待学术成就,来改善研究和研究人员的评估方式。但是,决定应该使用什么来代替基于期刊的度量标准,或者增加可量化的度量标准,是一个更复杂的问题,必须在单个机构内部和跨机构解决。例如,作为其工作的一部分,促进负责任的研究评估的集体行动认可和奖励该项目将公共知识机构和研究资助者聚集在一起,共同实现目标。

这些共同目标的确定——例如多元化的职业道路、注重研究质量和学术领导以及促进开放科学——帮助荷兰大学在其机构背景和能力范围内发展更广阔的研究评估视野。尽管如此,这一倡议还是遭到了一些荷兰学者的抵制,他们担心远离影响因素等指标将导致决策更加随机(辛格拉2021).诸如此类的犹豫表明,当前的评估实践需要以一种建设性的、基于证据的方式加以解决。通过提供一个框架,系统地评估和分析机构是如何支持研究评估实践的改革的,SPACE标题承诺做到这一点。

虽然SPACE的标题是为学术机构设计的,但我们也听说,其他组织也可以利用它来改善影响研究事业的决策方式。例如,研究资助者可以使用这个标题来改进资助决定和过程,学术团体可能会发现这个标题在决定谁获得奖项或奖项时很有用。

我们希望SPACE的标题将鼓励各种各样的机构遵循他们的价值观,并支持对他们有意义的干预措施的发展。我们还希望,在所有利益攸关方的关注、时间和投入下,SPACE标题将支持研究评估实践的有意义和持续改进。

请注意

DORA从eLife获得财政支持,eLife的一名员工(Stuart King)是DORA指导委员会的成员。

数据可用性

标题是参与式设计过程的结果,而不是定性研究的结果。没有与该工作相关联的数据集。

参考文献

    1. 霍利曼R
    2. 亚当斯A.
    3. 黑人T.
    4. 柯林斯T
    5. 戴维斯G
    6. DIBB S.
    7. 大一个
    8. HOLTI R.
    9. McKerlie F
    10. 马奥尼
    (2015)
    开放研究型大学
    Wissenburg,编辑。开放大学。
  1. 网站
    1. 施密特R
    (2020) 统计噪声的好处
    行为科学家。查阅日期:2021年9月7日。

决定信

  1. 彼得·罗杰斯
    资深评审编辑;英国eLife
  2. 费尔南达Beigel
    评论家;CONICET-UNCuyo

为了提高透明度,eLife会发布最实质性的修订请求以及相应的作者回复。

谢谢你提交了你的文章“创造空间发展学术评估”艾利夫作为一篇专题文章。您的文章已经由两位同行审稿人审阅过,他们的评论如下。以下参与审阅您的投稿的个人同意透露他们的身份:Fernanda Beigel(审稿人#2)。

我想邀请你提交一份修改后的手稿,说明审稿人提出的要点(请参阅a-e点),以及一些编辑要点(f-i点)。评论家# 1:

本文概述了一个综合工具(RUMRIC),以支持研究表演组织,以启用和嵌入与学术评估,招聘,促进和任期相关的文化变化。该工具的目的是在组织条件下发光,可以支持或阻碍实现文化变革的措施。该工具可以由学术评估改革任何阶段的组织使用,本文包括支持用户的一些指导。

该论文非常有效地设置了场景,并明确提出了围绕研究评估标准和学术评估过程的问题。它提供了一个很好的理由,为什么一个研究组织应该采取系统性的方法,指出整个组织的条件是实现可扩展的文化变革的关键。

SPACE的排名是通过广泛的咨询和来自学术评估改革不同阶段的许多组织的意见而制定的。用于制定这个标题的方法是稳健的,并反映了研究机构的需求。

该工具在支持研究机构了解环境如何阻碍和支持变革方面发挥着重要作用。该准则旨在让高层领导思考其组织如何支持价值观驱动的评估实践以及如何改进这些实践。然而,在整个试点过程中,各组织都看到了这一点被学院或团体所利用的潜力,而不是作为自上而下的调查。此外,该工具还可供其他利益相关者使用,这些利益相关者要么对学术界进行评估,要么对研究组织实践产生影响。关于这两种潜在用途,可以说得更多(请参见下文a点和b点)。

该工具具有潜在的障碍物,这些障碍面临其系统的机构。在其决策,优先级和目标设置中,这些信息对组织具有很大的好处。评论家# 2:

本文是DORA提出的一项建议,旨在帮助机构发展其能力,以支持符合其使命和价值观的新的评估政策和实践。这是一个名为SPACE的工具,用于发展学术评估,它建立在2020年DORA发布的原则基础上,为帮助各机构试验和发展更好的做法提供了起点。

这是一篇见多识广的文章,首先承认世界各地许多教授和机构都赞同的《朵拉宣言》所提出的变化正在演变,但进展仍然缓慢。除非有相当多的机构愿意创造和维持支持持续变革所需的内部程序和文化条件,否则不太可能成功。它提倡加强努力,改善研究和研究人员的评估方式,并建议放弃基于期刊的指标,以更全面的观点看待学术成就。

作者认为,SPACE是一个明确旨在支持不同国家/机构负责任的研究评估实践发展的结构。尽管这个工具是由75人的一项调查的结果在26个国家,我相信这将会是很有趣的,如果作者强调需要更多的语境化的过程,为了使这个工具用于大范围的制度环境和地理位置(请参见下面的点d和e)。

需要解决的问题

a)请详细说明在同一所大学或机构中,该如何以自上而下和自下而上的方式使用这个标题。

b)请考虑谈谈该工具如何被其他利益相关者使用,这些利益相关者要么提供学术评估,要么对研究组织的实践有影响。

c)目前尚不清楚“早期改革”和“中期和后期改革”(例如,耶鲁,开放大学,Rutgers,Iupui,Bath,Boad,Folec / Clacso)的例子中所提供的例子与空间量规有关。请清楚,从飞行员中取出这些示例中的哪一个,这是您希望使用空间量规的变化的示例。

d)一些国家(如阿根廷和墨西哥)对研究人员有一个全国性的分类系统,而另一些国家只在机构层面对研究人员进行评估:请评论一下这可能意味着什么?

e)如果作者能够扩展一下在试行这个标题时提到的经验,那将是很有趣的。有多少人参与了驾驶?有任何机构作为一个整体参与吗?

f)请解释/澄清文本中使用的前期/中期/后期语言与标题中的基础/扩张/缩放语言之间的关系。

g)第199-112行:请更明确地说明如何使用SPACE来解决紧张关系(比如排名和公平性之间的紧张关系)。

h)第181-187行:请考虑提及荷兰的表彰和奖励计划遇到了一些阻力。

i)请思考一下“研究者”这个词在文章中的广泛使用,因为这篇文章是在争论个人应该通过活动而不是研究来进行评估。

https://doi.org/10.7554/eLife.70929.sa1

作者的反应

需要解决的问题

a)请详细说明在同一所大学或机构中,该如何以自上而下和自下而上的方式使用这个标题。

我们添加了更多的信息,以澄清SPACE的标题如何支持同一机构的自上而下和自下而上的变化。

b)请考虑谈谈该工具如何被其他利益相关者使用,这些利益相关者要么提供学术评估,要么对研究组织的实践有影响。

我们添加了一个句子,提供了我们所听到的关于SPACE标题可能如何用于研究资助者和学术团体的想法。

c)目前尚不清楚“早期改革”和“中期和后期改革”(例如,耶鲁,开放大学,Rutgers,Iupui,Bath,Boad,Folec / Clacso)的例子中所提供的例子与空间量规有关。请清楚,从飞行员中取出这些示例中的哪一个,这是您希望使用空间量规的变化的示例。

列出的例子有但这是我们希望使用太空标题会带来的结果。我们加了一句话来澄清这一点。

d)一些国家(如阿根廷和墨西哥)对研究人员有一个全国性的分类系统,而另一些国家只在机构层面对研究人员进行评估:请评论一下这可能意味着什么?

该标题的具体使用将取决于地区和制度背景。我们添加了一句话来澄清这一点,并进一步说明如何在国家分类系统的领域中处理这些标题。

e)如果作者能够扩展一下在试行这个标题时提到的经验,那将是很有趣的。有多少人参与了驾驶?有任何机构作为一个整体参与吗?

来自不同机构的七名个人为我们试用了这个标题。没有一个机构作为一个整体试行这一标准。我们添加了一段来更详细地描述试验过程。

f)请解释/澄清文本中使用的前期/中期/后期语言与标题中的基础/扩张/缩放语言之间的关系。

机构处于不同的研究评估改革的阶段,因此可能会受益于不同类型的活动,以改善政策和实践。改革的早期阶段的机构更有可能受益于发展的基础能力,而专注于建设扩张和扩展能力更有可能对改革中期和后期阶段的机构有所帮助。我们在文中澄清了这一点。

g)第199-112行:请更明确地说明如何使用SPACE来解决紧张关系(比如排名和公平性之间的紧张关系)。

我们更新了文本,以更清楚地阐明如何使用空间准则来解决紧张关系,如大学排名和公平。

h)第181-187行:请考虑提及荷兰的表彰和奖励计划遇到了一些阻力。

我们增加了几句话来认识和扩展荷兰对表彰和奖励计划的抵制。

i)请思考一下“研究者”这个词在文章中的广泛使用,因为这篇文章是在争论个人应该通过活动而不是研究来进行评估。

我们同意“研究员”一词的使用可能会引起误解。在整篇文章中,我们用“学术的”或“学者”代替了“研究员”。在一些例子中,我们留下了“研究员”,因为考虑到句子的上下文,它让人感觉更准确。

https://doi.org/10.7554/eLife.70929.sa2

文章和作者信息

作者详细信息

  1. 露丝施密特

    露丝施密特是美国芝加哥伊利诺斯理工学院设计学院的副教授

    贡献
    构思,写作-初稿,写作-审查和编辑
    相互竞争的利益
    没有宣布相互竞争的利益
    ORCID图标 “此ORCID iD标识本文的作者:”0000-0002-9390-8469
  2. 斯蒂芬·库里

    斯蒂芬·库里是英国伦敦帝国理工学院(Imperial College, London, UK)的助理教务长(平等、多样性和包容)和结构生物学教授。他也是DORA指导委员会的主席

    贡献
    写作-审查和编辑
    相互竞争的利益
    没有宣布相互竞争的利益
    ORCID图标 “此ORCID iD标识本文的作者:”0000-0002-0552-8870
  3. 安娜孵化

    安娜孵化是美国罗克维尔多拉的项目主管吗

    贡献
    构思,写作-初稿,写作-审查和编辑
    为对应
    ahatch@ascb.org
    相互竞争的利益
    没有宣布相互竞争的利益
    ORCID图标 “此ORCID iD标识本文的作者:”0000-0002-2111-3237

资金

这项工作没有收到外部资金。

确认

我们感谢所有与我们分享关于公平和负责任的研究评估的想法,并尝试各种各样的标题的人,他们为创建空间标题提供了信息。我们特别感谢Rinze Benedictus、Needhi Bhalla、Noémie Aubert Bonn、Nele Bracke、Elizabeth Gadd、Leslie Henderson、Miriam Kip、Andiswa Mfengu、Wim Pinxten、Olivia Rissland、Yu Sasaki、Tanja Strøm和James Wilsdon与我们分享他们的见解和反馈。

资深评审编辑

  1. 彼得·罗杰斯(Peter Rodgers), eLife,英国

评论家

  1. 费尔南达Beigel, CONICET-UNCuyo

出版的历史

  1. 收稿日期:2021年6月4日
  2. 录用日期:2021年9月16日
  3. 出版版本:2021年9月23日(第1版)

版权

©2021,Schmidt等人。

本文根据条款分发必威app官方下载,在注明原作者和出处的情况下,允许无限制地使用和再发行。

韵律学

  • 853
    页面浏览量
  • 64
    下载
  • 0
    引用

文章引用计数由以下来源的最高计数轮询产生:Crossref公共医学中心斯高帕斯

下载链接

两部分链接列表,以各种格式下载文章或部分文章。

下载(连结以PDF格式下载文章)

下载引用(链接以与各种参考管理器工具兼容的格式从本文下载引用)

开放的引用(在各种在线参考管理服务中打开本文引用的链接)

  1. 进一步的阅读