文献の対象はあらかじめちゃんと決めたガイドラインに従って系統的に行うべきである。

• トピックは明確にしておかないといけない。狭すぎても広すぎてもいけない。

• どのようにして調査対象領域が定められたか，どのように調査対象研究が選定されたかを明確にしておかねばならない。

• 図書館で調べられる資料から始めてよいが，それ以上の資料を得る努力をしなければならない。

• コンピュータ化されたデータベースを利用することは必須であろう。

• file drawer problem を避けるために，学位論文とか会議の資料とか草稿などの grayliterature もできる限り検索対象とすべきである。

• 理論的根拠に乏しい経験的なものは敬遠しがちだが，一概にそうと決めつけるのも問題がある。収集した研究結果のデータベースを作るときに，それぞれの研究の特性をちゃんとコーディングして（情報化して）おけば，分析の過程でそれらを適正に取り扱うことができる。

• 必要な情報は，発表年，発表媒体（ソース），手法（測定装置や統計手法も含む），標本のタイプ（調査対象の性別とか年齢）など（当然，サンプル数，要約統計量も）。これらは moderator variable の探索の際に重要になる。

• このような情報をコーディングすることは meta-analysis の作業量の 99% 位をしめるかも知れないが，それは最終的にはほとんど活用されないかも知れない。なぜならそれらは moderator variable を探すときに必要になるわけだが，結果の変動の大部分は sampling error により説明されるのが普通（理想的）なので，出番は必然的に少なくなることが予想されるから。

• 発表言語，見つけた研究の総数と実際にmeta-analysis の対象とされた研究の数，そして，どのような基準で meta-analysis の対象として選定したかという基準。

• 報告されるべき必須事項は，effect size の個数（注：対象とした研究数ではない。後述されている），サンプルサイズ，population effect size，measures of variation あるいは一様性についての検討。

• まず全体についての meta-analysis を行い，一様でない場合にはサブクラスターに分割した後それぞれのサブクラスターでさらに meta-analysis を行うことになるだろう。

• appendix には，レビューされた全ての研究についてのリストが付けられるべきである。個々の研究の内容についての説明があることが望ましい。

1. file drawer problem
   • 研究者はポジティブな結果が得られたときにのみ発表するものだ（reporting bias）。（学会誌等の）編集者は，統計学的に有意な結果の得られていないものはリジェクトしがちだ（publication bias）。広く公表されない研究成果は file drawers にしまわれるか，"gray report literature" あるいは会議資料として報告されるだけになってしまう。

   • これが実際どのように影響を与えるかは証明されない。有意にならなかったのは，effect size が大きいのにサンプルサイズが小さすぎたのかもしれないし，有意になったのは，effect size が小さいのに，単にサンプル数が大きかったからかもしれない。ゆえに，file drawer にある研究の方が effect sizeは大きいかもしれないのである。

   • 最近の学会誌編集者は，effect size を重視するようになっており，数百，数千のサンプルによる「有意」ではあるが effect size は小さい研究は軽視する傾向にある。

   • Rosental の提唱した fail-safe N （有意でないという結果が後いくつ加わると統合された結果が有意でなくなるかという数）は一つの有効な方法ではあるが，問題自体を解決するものではない。

   • 結論としては，刊行されていない論文もできる限り対象とするように努力するべきである。

2. meta-analysis は，質の低い論文を過大評価することになるのではないか
   • 処理群の設定において無作為配置がされていない，不適切な統計手法の適用，不十分な測定手段（器具，質問紙等），あるいはそれらが全く報告されていないようなものも，他の優れた研究成果と同等に評価対象とされるのではないかといいう批判がある。

   • しかし，これらは meta-analysis においては，データベースを準備するときにそれぞれの項目についてコーディングしてデータに含めておくことで適切に扱うことができる。研究の質が moderator variable であることがわかったならそれぞれの群ごとに分析を行い報告することになる。あるいは，研究の質に応じた重みを付けて解析すればよいわけである。

3. meta-analysis は，リンゴとオレンジをいっしょくたにするのではないか
   • meta-analysis は様々な性質を持つ研究をカバーするのだから，ある意味ではこの指摘は正しい。しかし，「リンゴ」と「オレンジ」を共に「果物」として取り扱うのならなんの不都合もないわけである。

   • 条件を限定した meta-analysis は，目的は明確にはなるが対象とする研究の数は少なくなるであろう。

   • 条件の緩い（広範囲をカバーする） meta-analysis の例としては，リスク行動と疾病を取り扱うようなものが挙げられる。

     　　リスク行動：喫煙，飲酒，低栄養，運動不足
     　　疾病：　　　血圧，入院期間，傷病報告，受療の量

   • 研究対象というのは階層構造をなしているので，結局はどの階層を meta-analysisの対象とするかということである。

4. meta-analysis は，互いに独立ではない研究をまとめてしまうのではないか
   • 一つの研究からいくつもの結果が得られることがある。通常，effect sizeの数は研究の数より多い。例えば，ある meta-analysis は，475 件の研究を対象にしたが，分析対象の effect size の数は 1766 であった。

   • 今日では，meta-analysis の単位は単位は研究あるいは標本とすべきであると考えられている。

   • 独立ではない研究の例

     ・例えば，女 100 人，男 300 人について研究されたとき，(1)重み付けされた一つの effect size を算出して用いる，(2)性別を考慮する meta-analysisならば二つの別々の effect size を用いる，という選択ができる。

     ・例えば，三つの時点で測定されたデータがあるような場合は，それを平均したeffect size を用いるか，三つの内からランダムに一つを取り上げて用いる，ということもできる。

     ・複数の指標が観察されるときも平均すればよい。

     ・複数の処理群が一つの対照群と比較され，結果が複数個出ることがある。多くのmeta-analyst はこのような特殊な例は無視するようだ。

     ・同じ著者（ら）による複数の発表。第一報，第二報などとあるときは最後のものだけをとればよいだろう。これらの結果を独立のものとみなすことは結果に偏りをもたらすことになる。偏りが明らかになったならば，彼らの結果の平均をとればよい。