大学の業績と成果を評価して、それに応じて予算を配分しようという試みはいくつかの国で実施されています。英国は国内159の大学の52,400人の研究者の評価結果を先月発表しましたが、その評価法についてNature誌は新年第一号のエディトリアルでコメントしています。
Editorial, Nature 457, 7-8 (1 January 2009)
Experts still needed
There are good reasons to be suspicious of metric-based research assessment.
英国が使用した/する評価法には次の二つがあります:
Research Assessment Exercise (RAE):英国が現在まで使用してきた評価法で、各分野のエキスパートが研究者の業績を発表論文に重点を置いて評価するものです。分野をよく知る研究者による深い評価(in depth evaluation)が期待できる反面、”不透明”であるとか”客観性に欠けるかもしれない”という懸念があります。
Research Excellence Framework (REF):RAEに関する懸念を受け、英国では来年度よりREFと呼ばれる業績を数値化(主として”その論文がどれだけ引用されたか”)する”透明性の高い”評価法(マトリックス法)に転換する予定です。
透明性は確かに重要なファクターですが、最も重要なのは研究業績をより適切に/正当に評価できるかであるはずです。よって、ここでの問題は”透明性の高い”REFの方がはたして、研究業績をより適切に/正当に評価するのであろうかということです。
この点についてNature誌のエディトリアルはマトリックス法に疑問をなげかけます:
....publication citations have repeatedly been shown to be a poor measure of research quality.
例えば、Natureに掲載された論文では、新しい技術の開発の関する論文のほうが、科学的な”真理”の探求に重点を置いた論文よりはるかに多く引用される傾向があります。
An example from this journal illustrates the point. Our third most highly cited paper in 2007, with 272 citations at the time of inspection, was of a pilot study in screening for functional elements of the human genome. The importance lay primarily in the technique. In contrast, a paper from the same year revealing key biological insights into the workings of a proton pump, which moves protons across cell membranes, had received 10 citations.
E. J. Rinia(Res. Policy 27, 95–107; 1998)によれば、論文の引用数に重点をおいた数値化した評価法(マトリックス法)とエキスパートによるピアレビューを比較検討したところ5000の論文のうち25%で2つの評価法の乖離が見られ、その半分ではエキスパートが価値ありと評価した論文が、マトリックス法では価値なしという評価結果になっているようです。
The study found disagreements in judgement between the two methods of evaluation in 25% of the 5,000 papers examined. In roughly half of these cases, the experts found a paper to be of interest when the metrics did not, and in the other half, the opposite was the case. The reasons for the differences are not fully understood.
また、このエディトリアルでは言及されていませんが、インパクトファクターはジャーナルの商業的パフォーマンスのグローバルな指標という側面が強く、またその算出方法にも問題があります(詳しくは過去のエントリー「
インパクトファクターについて知っておくべき10の真実」「
インパクトファクター」を見てください)。
結論から言えば、マトリックス法は確かに透明性が高く、”客観的な”評価法と感じる人が多いかもしれませんが、科学者の間では正当な業績評価法としては現在受け入れられていません。
It is also important to note that the use of metrics as an evaluation method does not have widespread support within the scientific community.
ベストな評価法とは言い難いエキスパートによるピアレビューですが、業績/成果による予算配分では、(少なくとも当面は)この評価法に頼らざるを得ないということのようです。
Expert review is far from a problem-free method of assessment, but policy-makers have no option but to recognize its indispensable and central role.