★ イエーツの修正を適用する基準 ★

　77　イエーツの修正を適用する基準　　ひの　　1999/06/20 (日) 00:14
　　92　Re: イエーツの修正を適用する基準　　堀　啓造　　1999/06/23 (水) 05:18
　　　96　Re^2: イエーツの修正を適用する基準　　ひの　　1999/06/23 (水) 14:53
　　86　Re: イエーツの修正を適用する基準　　青木繁伸　　1999/06/22 (火) 18:22
　　　95　Re^2: イエーツの修正を適用する基準　　ひの　　1999/06/23 (水) 14:47
　　　88　Re^2: イエーツの修正を適用する基準　　青木繁伸　　1999/06/22 (火) 18:34
　　81　Re: イエーツの修正を適用する基準　　勉強中　　1999/06/22 (火) 10:40
　　　85　Re^2: イエーツの修正を適用する基準　　ひの　　1999/06/22 (火) 18:06
　　　　89　Re^3: イエーツの修正を適用する基準　　勉強中　　1999/06/22 (火) 19:45
　　　　　90　Re^4: イエーツの修正を適用する基準　　勉強中　　1999/06/22 (火) 20:23
　　　　　　94　Re^5: イエーツの修正を適用する基準　　ひの　　1999/06/23 (水) 14:42
　　　　　　　115　Re^6: イエーツの修正を適用する基準　　堀　啓造　　1999/06/25 (金) 06:47
　　　　　　　101　Re^6: Fisher's Exact Testが，なぜ最良の方法なのか?　　勉強中　　1999/06/23 (水) 20:08
　　　　　　　　102　Re^7: Fisher's Exact Testが，なぜ最良の方法なのか?　　ひの　　1999/06/24 (木) 13:58
　　　　　　　　　106　Re^8: Fisher's Exact Testが，なぜ最良　（2）　　勉強中　　1999/06/24 (木) 21:00
　　　　　　　　　　114　Re^9: Fisher's Exact Testが，なぜ最良　（2）　　堀　啓造　　1999/06/25 (金) 04:56
　　　　　　　　　　　116　Re^10: Fisher's Exact Testが，なぜ最良　（2）　　勉強中　　1999/06/25 (金) 08:03
　　　　　　　　　105　Re^8: Fisher's Exact Testが，なぜ最良　（1）　　勉強中　　1999/06/24 (木) 20:54
　　　　　　　　　　107　Re^9: Fisher's Exact Testが，なぜ最良　（1）　　マンボウ　　1999/06/24 (木) 21:21
　　　　　　　　　　　117　Re^10: Fisher's Exact Testが，なぜ最良　（1）　　勉強中　　1999/06/25 (金) 08:42
　　　　　　　　　104　Re^8: Fisher's Exact Testが・・・（両側P値）　　勉強中　　1999/06/24 (木) 19:18
　　　　　　　　　　127　Re^9: Fisher's Exact Testが・・・（両側P値）　　ひの　　1999/06/26 (土) 18:04
　　　　　　　　　103　Re^8: Fisher's Exact Testが・・・（mid-P）　　勉強中　　1999/06/24 (木) 19:08

77.　イエーツの修正を適用する基準　　ひの　　1999/06/20 (日) 00:14
Niftyの某所で質問されて調べてみたら，カイ二乗検定にイエーツの修正を適用するときの基準について明確に述べている本は少ない。
Zar(1996)の"Biostatistical Analysis" 3rd Ed. では，自由度1つまり2×2の分割表ではつねにイエーツの修正を行うのがよいと書かれています。
しかし，Sokal & Rohlf (1995) "Biometry" 3rd Ed. には，イエーツの修正をするといつも保守的な結果になるのでよくない，n=20程度の小サンプルでも修正は必要ない，と書かれています。
Everitt(1992)は"The Analysis of Contingency Tables" 2nd Ed.の2×2分割表の章の中で，イエーツの修正の適用に賛否両論あることに触れたうえで，使用を推奨しています。
さて，皆さんはどういう基準でイエーツの修正を適用していますか?

　　　　　[このページのトップへ]

92.　Re: イエーツの修正を適用する基準　　堀　啓造　　1999/06/23 (水) 05:18
> さて，皆さんはどういう基準でイエーツの修正を適用していますか?

Fisher にするにしても同じですが，
岩原信九郎(1965)『教育と心理のための推計学　新訂版』日本文化科学社 p171
注意6　のところで，一つのセルでも期待値が5以下のとき用いるとあります。

SPSSはこの基準で5以下（未満だったかな?）のセルがあるよと警告を出してきます。
まあ，使わない方がいいという議論や，もっと少なくてもいいという議論はあります。

そのあたりは nifty の某所でかきました。

質問に正面から答えるものがないようなのであえて書きました。

　　　　　[このページのトップへ]

96.　Re^2: イエーツの修正を適用する基準　　ひの　　1999/06/23 (水) 14:53
> 注意6　のところで，一つのセルでも期待値が5以下のとき用いるとあります。

　私は，期待値が5以下のセルがあるときには修正を行ったても近似が悪いのでカイ自乗検定は使ってはならないという基準がふつうだと思っていたのですが，典拠を求めると意外にこう明記してあるところは少ないのですね。

　　　　　[このページのトップへ]

86.　Re: イエーツの修正を適用する基準　　青木繁伸　　1999/06/22 (火) 18:22
> Everitt(1992)は"The Analysis of Contingency Tables" 2nd Ed.の2×2分割表の章の中で，イエーツの修正の適用に賛否両論あることに触れたうえで，使用を推奨しています。

かなり古い本になってしまいましたが，J.L.フライス著，佐久間昭訳「計数データの統計学」も同じように，過去の経緯にふれ，「連続修正を用いた方が，Fisher の検定に近くなるので，常に使用すべき」と書いてありますね。

> さて，皆さんはどういう基準でイエーツの修正を適用していますか?

私の場合は，使いません。Fisher の検定を使います。

なお，さらに Fishser の検定の場合も mid-p value を使うべきだとかいろいろ議論がありますね。

　　　　　[このページのトップへ]

95.　Re^2: イエーツの修正を適用する基準　　ひの　　1999/06/23 (水) 14:47
> かなり古い本になってしまいましたが，J.L.フライス著，佐久間昭訳「計数データの統計学」も同じように，過去の経緯にふれ，「連続修正を用いた方が，Fisher の検定に近くなるので，常に使用すべき」と書いてありますね。

Everittも同様の理由で推奨していますね。勉強中さんからのご指摘のとおり，Yatesの修正とFisherの検定は一心同体のようです。だとすれば，

> 私の場合は，使いません。Fisher の検定を使います。

　が妥当な方針ということになりますね。

　　　　　[このページのトップへ]

88.　Re^2: イエーツの修正を適用する基準　　青木繁伸　　1999/06/22 (火) 18:34
コクランの補正というのがありますが，これはあまりつかわれませんね。
$a，b，c，d$ に対応する期待値のうち最も小さいものを $E$，
対応する観測値を $O$ とする。$Y =|\,O-E\,|$ として，
\begin{equation}
    X = \left\{
        \begin{array}{ll}
            \ Y-0.5，                & O > 2\,E のとき\\
            \ [\,Y\,/\,0.5\,] \times 0.5，    & O \leq 2\,E のとき\\
            \multicolumn{2}{l}{　　注:\ [ 　 ] はガウス記号}\\
         \end{array}
         \right.
\end{equation}
　この $X$ を用いて，（\ref{cross1-1}）式の検定統計量を計算する。
\begin{equation}
    \label{cross1-1}
    \chi^2_0 = \frac{n^3\,X^2}{e\,f\,g\,h}
\end{equation}

　　　　　[このページのトップへ]

81.　Re: イエーツの修正を適用する基準　　勉強中　　1999/06/22 (火) 10:40
　興味あるテーマなのですが，例としてあげられている3冊は，同列に論じることができるのでしょうか．Biometryと他の2冊では，基本的な立場がかなり異なるような気がします．
　以前，Sokal & Rohlfの学生向け縮刷版（Introduciton to ・・・日本語訳）を図書館で読んだときの記憶では，頻度データの分析について，他の統計学参考書に比較すると，この本はかなり特殊な立場をとっていたと思います．
　X2検定に関する記述は非常に少なく，それに代わる方法としてG検定（対数尤度比検定）を全体にわたって詳細に紹介していたと記憶しています．
　ZarとEverittの本は，おそらく伝統的なX2検定にしたがっているのではないかと思います．（ただし，この2冊を詳しく読んだことはありませんので，見当ちがいだと困るのですが．）
　なお，"Biometry"のG検定では，Yates補正ではなく，Williams（?）補正をいつも使っていたと記憶しています．

　　　　　[このページのトップへ]

85.　Re^2: イエーツの修正を適用する基準　　ひの　　1999/06/22 (火) 18:06
>　X2検定に関する記述は非常に少なく，それに代わる方法としてG検定（対数尤度比検定）を全体にわたって詳細に紹介していたと記憶しています．
確かにBiometryでは独立性の検定はG検定を中心に書かれていますが，先に引用した部分は2X2カイ2乗検定に関する記述です。

> 　なお，"Biometry"のG検定では，Yates補正ではなく，Williams（?）補正をいつも使っていたと記憶しています．

G検定にはどちらも適用できます。Biometryの中ではYatesの修正は控えめすぎる結果になるのでWilliamsの修正が推奨されています。しかしWilliamsの修正はG検定専用で，カイ2乗検定には適用できません。

Zarは，「カイ2乗検定とG検定で異なる結果になるときにはG検定をpreferする人が多いが，逆の立場をとる人もいる」というようなことを書いています。
2X2の場合にはFisher's exact testを使えばいいのですけれど，それを言ってしまうとYatesの修正は出番がない(^^;)。

　　　　　[このページのトップへ]

89.　Re^3: イエーツの修正を適用する基準　　勉強中　　1999/06/22 (火) 19:45
　前回のコメントを理解していただけなかったようなので，私が考える，"Biometry"の「基本的立場」について若干補足いたします．

　"Biometry"をかなり参考にされているようなので，既にご承知とは思いますが，結論を先に言うと，"Biometry"は統計手法としてFisher's Exact Testの利用をほとんど認めていない，ということが今回の問題の基本です．

　Yates補正は，X2検定の有意確率をFisher's Exact Testに近似させるために考えられた手法です．したがって，当然，"Biometry"は，Yates補正の必要性などは認めないはずです．

　Fisher's Exact Testのことを，Fisher-Yates testとも言うことはご存知だと思います．彼らは，同年に，このexact testとYates補正を発表しています．YatesはFisherに示唆されてこの研究を始めたのですが，この二つの手法は，いわば「一心同体」と言ってよい関係にあります．

"Biometry"でX2検定やFisher's Exact Testの説明が出てくるのは，一般読者への単なるサービスであると思います．

　　　　　[このページのトップへ]

90.　Re^4: イエーツの修正を適用する基準　　勉強中　　1999/06/22 (火) 20:23

　これらの手法（Yates補正とFisher's Exact Test）は，SokalとRohlfの統計手法に対する基本的な方針とは反しているけれども，他の多くの論文などで使われているので，統計手法の一般知識として読者に提供しているだけだと思います．

　「Fisher's Exact Testは，頻度に関する統計手法の中で最も正確な方法である」というような立場を"Biometry"はとっていない，ということです．

　この方法が適用されるべき，（周辺度数を固定して確率を考えるような）モデルに相当するデータ例をまだ見たことがない（We have not yet encountered）と，第3版のどこかにも書いてあるはずです．Boxの試算に用いるデータの解説にあたっても，なぜFisher's Exact Testを用いるデータとして適当なのかということを，苦しそうにくどい表現で書いていませんか?

　Fisher's Exact Testを認めない立場をとる統計学者は少なくないと思います．蛇足ですが，優秀なパソコン・ソフトを簡単に利用できるとしても，何でもFisher's Exact Testにデータを入力すればよいというのはおかしいと思います．

　　　　　[このページのトップへ]

94.　Re^5: イエーツの修正を適用する基準　　ひの　　1999/06/23 (水) 14:42
> 　「Fisher's Exact Testは，頻度に関する統計手法の中で最も正確な方法である」というような立場を"Biometry"はとっていない，ということです．

Model I,II,III と分類して，議論されていますね。私にはいまだにこの区別が付かないのですけれど(^^;)。Fisherの検定は理屈が簡明でわかりやすいのですけれど，G検定の理論的な妥当性は私にはよく理解できていません。
　Yatesの修正がFisherの正確な確率に近づけるため修正ならば，はじめからFisherの正確確率検定をやればいいという青木さんの方針で良いように思いますね

　　　　　[このページのトップへ]

115.　Re^6: イエーツの修正を適用する基準　　堀　啓造　　1999/06/25 (金) 06:47
> Model I,II,III と分類して，議論されていますね。

モデル1とモデル2は
アプトン『調査分類データ解析法』朝倉書店(ori 1978)
の説明で一応わかったことにしてます。

p14
1.f00(総数)人の人に面接をし，2つの質問AとBの回答に応じてそれを分類する。
2.f10人の男性とf20人の女性に面接し，単一の質問Bの回答に応じてそれを分類する。
2の男性，女性の割り当てがアプリオリなもの。事後的に分類するのが周辺度数の固定していないもの。
というのが典型例でしょう。

しかし，調査用紙を配ったあとで男女の比率がわかったときはどうなるのとか考え出すとしんどくなってきます。
アプトンには，Grissle(1967), Conover(1974)(両方とも未見)を引用し，2の場合は Yates の修正，1の場合X^2 を用いるべきであるといっているとしています。

　　　　　[このページのトップへ]

101.　Re^6: Fisher's Exact Testが，なぜ最良の方法なのか?　　勉強中　　1999/06/23 (水) 20:08
　Fisher's Exact Testが，なぜ最良の方法なのか，私にはよく理解できません．

　SokalとRohlfが，Fisher's Exact Test（以下，"FET"）を統計手法としてほとんど認めていないように，モデルの理論的な面から，この方法を推奨しない統計学者は多数います．

　その上，実務面からも，P値の算出について多くの議論があります．例えば，FETはあまりに保守的なので，mid-P値を主張する人も増えています．

　また，「両側確率=（周辺度数に関わりなく）片側確率×2」とすることを，勉強不足による間違いであるかのように指摘する人がいます．しかし，そのような指摘は誤解です．この手法を開発したYatesやFisher自身（他の一部統計学者も）が，この両側確率はそのように算出した方が妥当であると論文などで述べているからです．ところが，この算出方法のP値では，元々保守的なFETが，さらに保守的になります．

　FETのP値については，他にもいくつかの方法や議論があります．FETが確立された方法であるとは，私には未だに思えません．統計ソフトは，精密な数値を算出しますが，FETのそれが意味のあるP値かどうか一考を要します．

　　　　　[このページのトップへ]

102.　Re^7: Fisher's Exact Testが，なぜ最良の方法なのか?　　ひの　　1999/06/24 (木) 13:58
> 　Fisher's Exact Testが，なぜ最良の方法なのか，私にはよく理解できません

私はFETが最良だと主張しているわけではありません。確率を求めるロジックが単純でわかりやすいと言っているだけです。分布関数で“近似”する方法は私には全くのブラックボックスなので，それに比べると安心感があります。

>例えば，FETはあまりに保守的なので，mid-P値を主張する人も増えています．

mid-P値というのはどういうものか知らないので，お教えいただけませんか（あるいは文献のご教示を）。

>この手法を開発したYatesやFisher自身（他の一部統計学者も）が，この両側確率はそのように算出した方が妥当であると論文などで述べているからです．

Fisherは片側検定しか述べていないのだと思っていました。Fisher自身が両側検定の方法について述べた文献をご存じでしたらお教えください。

　　　　　[このページのトップへ]

106.　Re^8: Fisher's Exact Testが，なぜ最良　（2）　　勉強中　　1999/06/24 (木) 21:00
　周辺度数が小さく，しかも限定された特異なデータについて（BiometryのModel III）確率を計算したいのならば，「ロジックが単純でわかりやすい」Fisher's Exact Testでよいかもしれません．

　しかし，ある母集団から無作為に選ばれた，n個の個体について推測する（BiometryのModel I）という立場にたてば，X2検定やG検定の方が，平均的に，妥当な有意水準を保証すると思います．

　これは，統計的検定における，FisherとNeyman-Pearson流の考え方の相違に帰着すると思います．残念ながら，両者の考え方をわかりやすく説明できるほどの知識はありませんので，この点については勉強したいと思います．

　　　　　[このページのトップへ]

114.　Re^9: Fisher's Exact Testが，なぜ最良　（2）　　堀　啓造　　1999/06/25 (金) 04:56
> 　しかし，ある母集団から無作為に選ばれた，n個の個体について推測する（BiometryのModel I）という立場にたてば，X2検定やG検定の方が，平均的に，妥当な有意水準を保証すると思います．
測する（BiometryのModel I）という立場にたてば，X2検定やG検定の方が，平均的に，妥当な有意水準を保証すると思います．

ちょっと，チャチャ入れ質問

モデル1というのは周辺度数が両方とも固定でないということですね。

このときの自由度は1になるのですか。なるとしたらどこから導きだせるのでしょうか。

　　　　　[このページのトップへ]

116.　Re^10: Fisher's Exact Testが，なぜ最良　（2）　　勉強中　　1999/06/25 (金) 08:03
>
> モデル1というのは周辺度数が両方とも固定でないということですね。
>
> このときの自由度は1になるのですか。なるとしたらどこから導きだせるのでしょうか。


　正直に言って説明できません．まさに「勉強中」です．

　　　　　[このページのトップへ]

105.　Re^8: Fisher's Exact Testが，なぜ最良　（1）　　勉強中　　1999/06/24 (木) 20:54
>私はFETが最良だと主張しているわけではありません。確率を求めるロジックが単純>でわかりやすいと言っているだけです。分布関数で“近似”する方法は私には全くのブラックボックスなので，それに比べると安心感があります。

　“Fisher's Exact Test”を自分で計算したときに気づかれていると思いますが，例をあげてみます．

　2×2表（a,b,c,d）の周辺度数が決まっていて，たとえば，a=6のときは有意確率P=0.07，a=7のときP=0.005というような場合がよくあります．すると，a≧7のデータでは，有意水準5%（片側確率）で有意です．この場合の名目の有意水準は5%ですが，「実質的な有意水準」は0.5%であり，10倍も厳しいことになります．

　Fisher's Exact Testでは，このような分析が多くなり，そのことが，あまりにも保守的であるという批判につながっています．それを修正する方法として出てきたのが，mid-P値の考え方です．

　　　　　[このページのトップへ]

107.　Re^9: Fisher's Exact Testが，なぜ最良　（1）　　マンボウ　　1999/06/24 (木) 21:21
掲示板への発言数がヒートアップしているようですね。
======================================================
> 　Fisher's Exact Testでは，このような分析が多くなり，そのことが，あまりにも保守的であるという批判につながっています．それを修正する方法として出てきたのが，mid-P値の考え方です．

Fisher's Exact Test と mid p-value の関係はカイ二乗検定とYatesの連続性の補正の関係に似ているという気がしますが，この理解は間違いでしょうか?

つまり，mid p-value は，観察された分割表の生起確率の半分を加えるということで不連続性を補間する働きをさせているように思うのです。

イエーツの補正は，観察値から 0.5 を足し引きすることで不連続性を補正しているということですよね。

　　　　　[このページのトップへ]

117.　Re^10: Fisher's Exact Testが，なぜ最良　（1）　　勉強中　　1999/06/25 (金) 08:42
>
> Fisher's Exact Test と mid p-value の関係は

> カイ二乗検定とYatesの連続性の補正の関係に似ているという気がしますが，この理解は間違いでしょうか?
>

　確かに，両方とも，不連続な変数の統計分析の補正のために工夫されたものだと思います．

　ただし，ご承知のとおり，補正が検定結果に作用する方向は逆になります．

　P（Fisher's Exact Test）　>　mid-P（Fisher's Exact Test）　ですが，　

　P（カイ二乗検定）　<　P（Yatesのカイ二乗検定）．

　　　　　[このページのトップへ]

104.　Re^8: Fisher's Exact Testが・・・（両側P値）　　勉強中　　1999/06/24 (木) 19:18
>>この手法を開発したYatesやFisher自身（他の一部統計学者も）が，この両側確率はそのように算出した方が妥当であると論文などで述べているからです．

　Yatesの1984年の論文に述べられています．この手法の両側確率に対するFisher自身の考え方は，Fisherの協力者の一人であった，Finney（Fisher's Exact Testの数表を作った人）にあてた手紙が引用されています．前回「論文など」と書いたのは，この手紙も含まれているからです．

　Yates(1984）は，“Fisher's Exact Test”と「Yates補正」に対する過去40年以上の批判（彼の表現では"attack"）に，強く反論しています．Yates自身の論文は，ページ426-449です．後半は，学会員によるコメントと議論です．ただし，私は，後半を読んだ事はありません．

Yates, F. 1984. Tests of significance for 2 X 2 contingency tables. J. R. Statist. Soc. A 147:426-463.

　　　　　[このページのトップへ]

127.　Re^9: Fisher's Exact Testが・・・（両側P値）　　ひの　　1999/06/26 (土) 18:04
こんなにツリーが大きくなるとは(^^;)。
#104,#105まとめてお礼申し上げます。mid-P値や文献に関するご教示，どうもありがとうございました。大変勉強になりました。

　　　　　[このページのトップへ]

103.　Re^8: Fisher's Exact Testが・・・（mid-P）　　勉強中　　1999/06/24 (木) 19:08
>>例えば，FETはあまりに保守的なので，mid-P値を主張する人も増えています．

>mid-P値というのはどういうものか知らないので，お教えいただけませんか．


　たとえば，2×2表のデータが（6，4，2，9）のとき，片側確率では，a（周辺度数:6+2=8）=6，7，8の場合の出現確率を計算して加えたのが普通のPです．一方，このとき，a=6の場合の出現確率を半分にして他のものと加えたのがmid-Pです．常に，mid-Pは，Pより小さい値になります．両側確率をどのようにとるかは，論争があるようです．

　このデータの有意確率を以前計算したのですが，X2（P=0.049），YatesのX2（P=0.128），G検定（P=0.045），Fisher's Exact Testの両側検定（P=0.080，mid-P=0.052）になります．つまり，mid-Pを採用したFisher's Exact Testは，単純なX2検定やG検定と近い結果になります．

　こうなると，統計学者の間での議論はいろいろやっていただくとしても，実際には最も簡単なX2検定やG検定の結果が信頼できるのではないか，と私は思っています．

　　　　　[このページのトップへ]

● 「統計学関連なんでもあり」の過去ログ--- 002 の目次へジャンプ
● 「統計学関連なんでもあり」の目次へジャンプ
● 直前のページへ戻る