ボストンで13年働いた研究者が、アカデミック・キャリアパスで切磋琢磨する方法を発信することをめざします。
上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。
大学の業績と成果を評価して、それに応じて予算を配分しようという試みはいくつかの国で実施されています。英国は国内159の大学の52,400人の研究者の評価結果を先月発表しましたが、その評価法についてNature誌は新年第一号のエディトリアルでコメントしています。

Editorial, Nature 457, 7-8 (1 January 2009)
Experts still needed
There are good reasons to be suspicious of metric-based research assessment.


英国が使用した/する評価法には次の二つがあります:

Research Assessment Exercise (RAE):英国が現在まで使用してきた評価法で、各分野のエキスパートが研究者の業績を発表論文に重点を置いて評価するものです。分野をよく知る研究者による深い評価(in depth evaluation)が期待できる反面、”不透明”であるとか”客観性に欠けるかもしれない”という懸念があります。

Research Excellence Framework (REF):RAEに関する懸念を受け、英国では来年度よりREFと呼ばれる業績を数値化(主として”その論文がどれだけ引用されたか”)する”透明性の高い”評価法(マトリックス法)に転換する予定です。

透明性は確かに重要なファクターですが、最も重要なのは研究業績をより適切に/正当に評価できるかであるはずです。よって、ここでの問題は”透明性の高い”REFの方がはたして、研究業績をより適切に/正当に評価するのであろうかということです。

この点についてNature誌のエディトリアルはマトリックス法に疑問をなげかけます:

....publication citations have repeatedly been shown to be a poor measure of research quality.


例えば、Natureに掲載された論文では、新しい技術の開発の関する論文のほうが、科学的な”真理”の探求に重点を置いた論文よりはるかに多く引用される傾向があります。

An example from this journal illustrates the point. Our third most highly cited paper in 2007, with 272 citations at the time of inspection, was of a pilot study in screening for functional elements of the human genome. The importance lay primarily in the technique. In contrast, a paper from the same year revealing key biological insights into the workings of a proton pump, which moves protons across cell membranes, had received 10 citations.



E. J. Rinia(Res. Policy 27, 95–107; 1998)によれば、論文の引用数に重点をおいた数値化した評価法(マトリックス法)とエキスパートによるピアレビューを比較検討したところ5000の論文のうち25%で2つの評価法の乖離が見られ、その半分ではエキスパートが価値ありと評価した論文が、マトリックス法では価値なしという評価結果になっているようです。

The study found disagreements in judgement between the two methods of evaluation in 25% of the 5,000 papers examined. In roughly half of these cases, the experts found a paper to be of interest when the metrics did not, and in the other half, the opposite was the case. The reasons for the differences are not fully understood.



また、このエディトリアルでは言及されていませんが、インパクトファクターはジャーナルの商業的パフォーマンスのグローバルな指標という側面が強く、またその算出方法にも問題があります(詳しくは過去のエントリー「インパクトファクターについて知っておくべき10の真実」「インパクトファクター」を見てください)。

結論から言えば、マトリックス法は確かに透明性が高く、”客観的な”評価法と感じる人が多いかもしれませんが、科学者の間では正当な業績評価法としては現在受け入れられていません。

It is also important to note that the use of metrics as an evaluation method does not have widespread support within the scientific community.



ベストな評価法とは言い難いエキスパートによるピアレビューですが、業績/成果による予算配分では、(少なくとも当面は)この評価法に頼らざるを得ないということのようです。

Expert review is far from a problem-free method of assessment, but policy-makers have no option but to recognize its indispensable and central role.





スポンサーサイト

テーマ:研究者の生活 - ジャンル:学問・文化・芸術

分かりやすい!
RAEのことと、REFのことがよく分かりました。
とくに、評価方法。
ためになります。また訪問させてください。
【2009/01/09 Fri】 URL // ことり。 #- [ 編集 ]

管理者にだけ表示を許可する
http://harvardmedblog.blog90.fc2.com/tb.php/304-52fd035c
この記事にトラックバックする(FC2ブログユーザー)
Nature Newsより→Dutch university slashes evolution staff 以下は適当な和訳:---------------------------- 解雇された6人の教授のひとりである個体群生態学者のJacques van Alphen教授(残念ながら元教授か)によるとこの人事によってライデン大学には「自然選択を教
[ 服従するが果たさない ]
// HOME // 
Powered By FC2ブログ. copyright © 2005 ハーバード大学医学部留学・独立日記 第二部 三重大学医学部編 all rights reserved.
プロフィール

Motomu Shimaoka

Author:Motomu Shimaoka
島岡 要:三重大学医学部・分子病態学講座教授 10年余り麻酔科医として大学病院などに勤務後, ボストンへ研究留学し、ハーバード大学医学部・准教授としてラボ運営に奮闘する. 2011年に帰国、大阪府立成人病センター麻酔科・副部長をつとめ、臨床麻酔のできる基礎医学研究者を自称する. 専門は免疫学・細胞接着. また研究者のキャリアやスキルに関する著書に「プロフェッショナル根性・研究者の仕事術」「ハーバードでも通用した研究者の英語術」(羊土社)がある. (Photo: Liza Green@Harvard Focus)

最近の記事
最近のコメント
最近のトラックバック
リンク
月別アーカイブ
ブログ内検索

RSSフィード
上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。