effect size がわかったとして，「この結果は信頼できるか」ということが問題になる。

　no04 で使ったデータは非常に不均一である。この不均一性はどこから来るのか。

1. random effects model 　　　（Hedges & Olkin, 1985)

   　観察された effect size の変動を二つの部分に分割する。

   \[ \mathrm{observed\ variance} = \mathrm{population\ variance} + \mathrm{sampling\ error} \] 　そして，

   \[ \frac{\mathrm{sampling\ error}}{\mathrm{observed\ variance}}\times 100(\%) \] の値が 100% になるということは，データは均一であることを表す（望ましい状態）。

   　たとえば，この値が 40% であったとすると，系統的な要因による変動が 60% あることを意味するので，meta-analysis は moderator variables について検討することになる。

   　no04 のデータでは，d の分散（不偏分散を指しているらしい）は 0.73 でsampling error は 0.14 なので，population variance は 0.59 となる。sampling error は，わずか 19% くらいにしか過ぎないので，meta-analysis では，系統的な要因を検討する必要があることを示す。（ここのところは，Hedges &Olkin, 1985 の引用があるだけで数式が示されていない）。

   　とっかかりとしては，effect size の大きさにより，研究をグループ化するとよい。例では，１，３番目の研究，２番目，４番目の研究の３つのクラスターに分けられる。

2. faile-safe N formula for d value　　　Orwin(1983)

   　population effect size delta が 0.2 以下になってしまうには，あといくつの「no effect studies」が必要かという推定値。

   　no04 の例では，delta = 0.47 であるが，後 6 つの，「ネガティブデータ」が加わると delta は 0.2（これは慣用的な基準）以下になってしまう。（ここのところも，Oewin の引用のみで，数式の提示はない）。

参考文献

1. Hedges, L. V. & Olkin, I. (1985). Statistical methods for meta-analysis.
   New York: Academic Press.

2. Orwin, R. G. (1983). A fail safe N for effect size in meta-analysis.
   Journal for Educational Statistics, 8, 157-159.