【ニュース・イギリス】次期大学研究評価制度(REF)において、査読評価を量的評価(Metrics)に置き換える案は見送られることに

2015年7月8日、研究評価における量的評価(Metrics)の役割に関しての調査報告書が発表された。
報告書によると、研究成果やインパクトを評価するのに、数量的指標を用いるだけでは、現在のREFで可能となっている絶妙な評価法の代替とはなり得ないとのことである。
報告書は、15ヶ月にわたるエビデンス収集および協議の末、作成された。

報告書の主なポイントは以下の通り。

(報告)
・欠点はあるものの、査読は評価の基礎として欠かせないものである。
・十分吟味された指標は補足的な決定要因となりうるが、数量的指標、専門家の判断、定性的評価の最適な組み合わせが求められる。個別分野ごとにどのような指標が最も有効なのか、根拠も含め明確にしなければならない。
・不適切な指標は歪んだインセンティブを生み出すことがある。学術雑誌のインパクトファクター(自然科学・社会科学分野の学術雑誌を対象として、その雑誌の影響度、引用された頻度を測る指標)、大学ランキング、論文披引用率などは、誤って、あるいは操作を意図して用いられる指標の典型例である。
・データベースが局在化しており、システム間の汎用性が不十分である。
・REFのインパクト評価においては、ある指標の有用性に応じてインパクトの定義が狭められてしまう可能性があるため、現状では量的指標は事例研究型討議の代替とはなり得ない。しかしながら研究環境の評価においては、文脈に応じた適切なデータが提出されるならば、有用なものとなりうるだろう。

(提案)
・各高等教育機関の長は研究の管理運営と評価に関して網羅した、より明確な原則を定めるべきである。そして、研究の管理者側と事務部門はこれらの原則に精通し、学術雑誌のインパクトファクターよりも、論文自体の内容と質の方がはるかに重要であるということを強調すべきである。
・各高等教育機関の経営陣、採用・昇進担当者は、雇用および昇進の決定について用いられた基準を明確にすべきである。また、個々の研究者は、履歴書を提出したり、同僚の仕事を評価する際には、個々の指標の限界に留意する必要がある。
・出版社は、学術雑誌のインパクトファクターを宣伝の道具に使用する時は誇大にならないよう留意する必要がある。また、データ提供者、分析担当者、大学ランキングの作成者は、透明性の確保と汎用性の向上に努めるべきである。
・英国の研究界全体でもっとORCID制度を浸透させるべきである。ORCIDは、個別の研究者に与えられる独自の番号で、次期REFにおいては、申請研究者に対してこれの取得を必須とすべきである。
・研究情報インフラの整備が必要で、関連機関の積極的な予算配分が望まれる。
・高等教育機関を含む各研究関連機関は合同で量的評価に関する会合を開催し、数値の扱い方の基準、汎用性、情報公開、透明性等について包括的な検討を行うべきである。

URL1: http://www.hefce.ac.uk/news/newsarchive/2015/Name,104464,en.html
URL2: http://www-overseas-news.jsps.go.jp/%E3%80%90%E3%83%8B%E3%83%A5%E3%83%BC%E3%82%B9%E3%83%BB%E3%82%A4%E3%82%AE%E3%83%AA%E3%82%B9%E3%80%91%E5%A4%A7%E5%AD%A6%E7%A0%94%E7%A9%B6%E8%A9%95%E4%BE%A1%E5%88%B6%E5%BA%A6research-excellence-framework/

地域 西欧
イギリス
取組レベル 政府レベルでの取組
大学・研究機関の基本的役割 研究