大学院の評価項目には必ず論文の批判的吟味（Critical appraisal）という項目がある。
最初にCritical appraisalが出てきたのは疫学入門のコースだった。
そのときはフォーマットに則って回答を作り、なんとか合格点をとった。
でも、正直言って、批判的吟味って結局どういうことなのかよくわからない。
中間評価のCandida aurisのレポートは、かなりの数の文献に目を通したのに批判的吟味が不十分という理由で点が低かった。
気が狂いそうになりながらあんなに調べたのに…。
もちろん、最終評価のプレゼンもご多分に漏れずCritical appraisalの項目がある。同じことで減点は避けたいので、腹をくくってコースリーダーに質問することにした。
聞くは一時の恥だ。
プレゼンで使う論文は実験を題材にしたものだった。ネット上でCritical appraisalを検索するとさまざまなキットが出てくる。疫学的な研究のチェックリストは多いのだが、実験を元にした論文のチェックリストは見つからなかった。そのことも含め、二人いるコースリーダーに聞いてみたところ、両者から丁寧な即レスが来た。
あなたの考えをシェアしていただき、ありがとうございます。あなたが積極的に批判的吟味のスキルを向上させようとしていると聞いて、とても嬉しく思います。このスキルを身につけるには時間と練習が必要であることは私も同感です。
選んだトピックに関する記事をいくつか読んだら、キーとなる質問をいくつか投げかけ、それに対する簡単な回答を書いてみましょう（あるいは、回答について考えるだけでも構いません）：
・著者の主な主張は何か？
・研究の目的は明確で、目的／目標は達成されたか？
・結論は論文に示された結果／データによって裏付けられているか？
・研究デザインに偏りや限界はないか。
・その研究で使用された情報源は、どの程度信頼でき、適切か？選んだ研究テーマと論文についてこれらの質問をした後、これらの異なる情報源を比較対照してください。具体的には、異なる研究が一致している点、または同様の結論に達している点を特定し、異なる文献間の矛盾や不一致を特定します。
また、システマティック・レビューを読み、評価する際には、PRISMAチェックリストをチェックするとよいでしょう。
プレゼンテーションでお会いできることを楽しみにしています。
もう一人からは、
批判的評価のスキルを向上させるために連絡してくれてありがとう。結局は、すべての情報が同じように強力で価値があるわけではないという事実に行き着きます。私たち科学者や研究者は、入手可能な資料を使って、特定の情報源がどの程度有効であるか、十分な情報を得た上で判断する必要があります。簡単なことではありません！しかし、科学的プロセスの本当に重要な部分です。
追加の質問と回答も追記しておく。
Q）研究デザインのバイアスや限界はどのように特定すればいいのか？その研究テーマについて十分な知識を持つ以外に方法はあるか？
検討しうる様々な角度から考えてみてください。著者は十分な証拠もなしに結論を急いだように見えるでしょうか？異なる視点からの疑問を検討したでしょうか？他に考えられる説明はありますか？
Q）ある文献の信頼性と関連性を評価するためには、参考文献の全てをチェックする必要があるのか？（これまでは欲しい情報がありそうな文献のみ確認していた。）
レビュー論文であれば、必ず原著に戻り、引用が正しいかどうかをチェックすべきです。そして理想的には、自分が言及する内容については原著を参照することです。論文の根拠となる重要な仮定が、他の研究に由来するものである場合は、それらについても確認するとよいでしょう。ある研究が他の人のデータ（例えば、以前の研究で発見されたデータ）に基づいている場合、それをチェックすることも重要です。
※）レビューが原著論文から新たに導いた内容を参考にした場合はレビュー論文も参考文献に入れるべき。
Ｑ）ネット上には複数のシステマティックレビューのチェックリストがある（例；CASPやJBIのチェックリストなど）。それ以外にも批判的評価のための様々なツールがあるが、この中からどうやって選べば良いか？
あなたの言う通り、レビューにはそのツールは有効ですが、実験研究に特有の一般的に使われているチェックリストは、私の知る限りでは存在しません。重要なのは、科学者として、すべての研究が同じ質であるとは限らないという前提を持ち、どの研究結果にどれだけ重みを置くべきかを常識的に考える必要があるということです。
必要な情報を十分に収集し、比較検討し、根拠をもって、しかし最後は自分の常識に基づいて情報を汲み取り、新しい自分の考えを導く。それを論理だてて相手に伝える。
以前出てきたタキソノミーのピラミッドが、ここでもまた出てきた。情報収集までは、比較的簡単にできるけれど、それじゃ２〜３合目。そこから先はほとんど自信がないし、やろうとすると膨大な時間がかかる。
でも、勉強するって、こういうことだよね。時間がかかるのも、皆同じだよ、というお返事。
日本では、「自分の考え」を構築することより、「より知っていること」「正解を言えること」が評価されるからな…
改めて、「自分で考える」ことをもっと若い時に鍛えておきたかった。
（続く）
コメント