No.07469 マン・ホイットニー検定の際の標本数の影響について  【sqrt】 2008/08/25(Mon) 19:15

はじめまして。
統計を独学で学び始めて1年ほどになるものです。
最近,疑問に思う点が出てきましたので,教えていただきたく投稿します。

23,707件のデータがあります。
このデータからランダムに標本を抽出し,残余(=23,707-標本数)の標本とマンホイットニー検定を行いました。

検定対象となるデータは0から41,093の大きさのスケール値で重複もあります。

標本数は100件,200件,300件,400件,500件,600件,700件,800件,900件,1000件,2000件,3000件,10000件と変え,それぞれ10回ずつマン・ホイットニー検定を行いました。

すると統計量とともに漸近有意確率が出力されたのですが,どうも標本数とは無関係なようなのです。

例を挙げますと,
標本数100件の漸近有意確率(10回の平均値) : 0.384
標本数500件の漸近有意確率(10回の平均値) : 0.539
標本数800件の漸近有意確率(10回の平均値) : 0.811
標本数1000件の漸近有意確率(10回の平均値) : 0.448
標本数2000件の漸近有意確率(10回の平均値) : 0.416
標本数3000件の漸近有意確率(10回の平均値) : 0.582
標本数10000件の漸近有意確率(10回の平均値) : 0.301

というようになっています。

私は,標本数が多ければ多いほど(全体の半分に近づけば近づくほど),標本と残余の部分は似てきて,漸近有意確率は上がるものだと思っていました。

標本数が多くなれば似てくるという想像か,あるいは漸近有意確率の大きさに「似ている度合い」が反映されるという想像が間違っているのかと思いますが,詳しい方のご説明をお聞かせ願えたら幸いです。

使用したソフトウェアはSPSS15 for Windowsです。

よろしくお願いします。

No.07471 Re: マン・ホイットニー検定の際の標本数の影響について  【TY】 2008/08/26(Tue) 12:19

実施したマン・ホイットニーの検定の帰無仮説は,「二つの標本の母集団は同じである」というものだと思いますが, この場合は帰無仮説が正しいので,得られるp-valueは区間(0,1)の一様分布になるのではないでしょうか。すると,sqrtさんが計算しているも のは,いずれも10個の一様分布の平均値になるように思われます。

No.07475 Re: マン・ホイットニー検定の際の標本数の影響について  【sqrt】 2008/08/26(Tue) 17:09

TYさん,書き込みありがとうございます。

各標本数の漸近有意確率の統計量をとってみましたら,度数130,最小値0.004,最大値0.999,平均値0.50165,標準偏差0.290417となりました。

1標本のコルモゴロフ-スミルノフ検定で一様分布であるか検定したら,漸近有意確率(両側)0.799という結果がでました。

しかし,私には漸近有意確率は0から1の間の値を取りますから一様分布に見えるだけで,標準偏差が0.290417もあるなら漸近有意確率として一様といえるか疑問のように思います(この辺の相場というか感覚がいまいちよくわかりません)。

ちなみに,同様に1標本のコルモゴロフ-スミルノフ検定で正規分布であるか検定したら,漸近有意確率(両側)0.273という結果もでました。

これをどう理解すべきかわからないでいます。
もう少し教えていただけないでしょうか。

No.07483 Re: マン・ホイットニー検定の際の標本数の影響について  【知ったかぶり】 2008/08/27(Wed) 08:45

>私は,標本数が多ければ多いほど(全体の半分に近づけば近づくほど),標本と残余の部分は似てきて,漸近有意確率は上がるものだと思っていました。

検 出力の事をお忘れではないでしょうか.サンプルサイズが大きくなれば,わずかな違いであっても検出されやすく(p値は小さく)なります.同一母集団からの ランダムサンプリングであってもp値が小さくなることはあり得ます.また,シミュレーションとして試行回数10回というのは,少なすぎるでしょう.

>漸近有意確率の大きさに「似ている度合い」が反映される

p値は,「第1種の過誤」の確率であり,p値が大きいからといって「同一である」と言えるわけではありません.「似ている度合」を計るモノサシにはならないでしょう.

No.07484 Re: マン・ホイットニー検定の際の標本数の影響について  【TY】 2008/08/27(Wed) 09:53

区間(0,1)の一様分布に従う確率変数Xの期待値と分散は,確率密度関数f(x)=1 (0<x<1) より
E(X)=1/2
V(X)=E(X^2)-(E(X))^2=1/3-1/4=1/12
シミュレーションの平均値はほぼ0.5,標準偏差はほぼsqrt(1/12)=0.2887になっています。抽出はランダムにできているようです。
検定統計量が帰無仮説に従うときのp-valueの分布については,帰無仮説の分布が連続の場合には一様分布 (累積分布関数F(x)=x (0<x<1)) になることを導けるかと思います。

No.07487 Re: マン・ホイットニー検定の際の標本数の影響について  【sqrt】 2008/08/27(Wed) 13:11

知ったかぶり さま

ご指摘ありがとうございます。
検出力というキーワードをいただいて,
少し分かってきた気がします。

検 定した帰無仮説は標本と残余の群に差があるか(標本と残余の群は同一の母集団から得られたとみなせるか)というもので,漸近有意確率はその帰無仮説のP値 である。そもそも「似ている度合い」は検定対象となっていない。ですので,私が似ている度合いを示していると想像しているのは間違っていました(と理解し ました)。

「サンプルサイズが大きくなればわずかな違いでも検出されやすくなる」ここも分かった気がしますが,p値が小さくなるというのはまだぴんと来ていません。
TYさんへのお返事に記述しますが,サンプル数が増えても漸近有意確率(P値)は変わらないようなのです。

もう少し考えてみたいと思います。

No.07488 Re: マン・ホイットニー検定の際の標本数の影響について  【sqrt】 2008/08/27(Wed) 13:25

TYさま

一様分布を私は,区間(0,1)の間の特定の値をとる分布と勘違いしていました。昨日の書き込みの後,調べて区間(0,1)の間のすべての値を等しくとる分布と分かりました。

> V(X)=E(X^2)-(E(X))^2=1/3-1/4=1/12

ご指摘ありがとうございます。
この式は見ていたのですが,使い場所が分かっていなかったというか,
お恥ずかしいことに目からうろこでした。

なお,漸近有意確率の度数分布をとってみたところ,下のようになりました。
            度数    比率
0=<0.1 10  7.7%
0.1=<0.2 16 12.3%
0.2=<0.3 12  9.2%
0.3=<0.4 15 11.5%
0.4=<0.5 17 13.1%
0.5=<0.6 8  6.2%
0.6=<0.7 11  8.5%
0.7=<0.8 12  9.2%
0.8=<0.9 15 11.5%
0.9=<1.0 14 10.8%

No.07489 Re: マン・ホイットニー検定の際の標本数の影響について  【sqrt】 2008/08/27(Wed) 13:55

標本数ごとの統計量は次のとおり。

「一様」って感じがします。

  # また懲りずにイメージで語ってしまいました (^^;
 標本数,  	度数,	最小値,	最大値,	平均値,	標準偏差
標本数100件, 10, 0.044, 0.798, 0.384, 0.225024443
標本数200件, 10, 0.109, 0.934, 0.4185, 0.330192284
標本数300件, 10, 0.076, 0.903, 0.5799, 0.29483534
標本数400件, 10, 0.004, 0.95, 0.5823, 0.32191443
標本数500件, 10, 0.089, 0.907, 0.5394, 0.272005392
標本数600件, 10, 0.158, 0.888, 0.4776, 0.23285198
標本数700件, 10, 0.132, 0.914, 0.5386, 0.240767846
標本数800件, 10, 0.582, 0.969, 0.8106, 0.150835599
標本数900件, 10, 0.174, 0.752, 0.4415, 0.211423877
標本数1000件, 10, 0.032, 0.995, 0.4479, 0.345034121
標本数2000件, 10, 0.021, 0.999, 0.4157, 0.329684715
標本数3000件, 10, 0.087, 0.951, 0.5846, 0.32557648
標本数10000件, 10, 0.01, 0.864, 0.3008, 0.237729445
TYさま,ご指導ありがとうございました。

No.07490 Re: マン・ホイットニー検定の際の標本数の影響について  【知ったかぶり】 2008/08/27(Wed) 14:16

>p値が小さくなるというのはまだぴんと来ていません。

誤解されるような書き方をしてし まったかも.サンプルサイズが大きくなれば,サンプリングによる偶然のバラツキは少なくなり,標本と残渣は「似かよって」きますが,検出力も高くなるの で,p値が大きくなるとは限りませんよ,ということを言わんとしただけです.sqrtさんのケースでサンプルサイズが大きくなる程,p値が小さくなると主 張しているわけではありません.

No.07494 Re: マン・ホイットニー検定の際の標本数の影響について  【sqrt】 2008/08/27(Wed) 20:22

本サイトに記載されている例を使って考えて見ました。

http://aoki2.si.gunma-u.ac.jp/lecture/Average/U-test.html

この例ではn1=4, n2=5 n=9 (n=n1+n2)と私のデータとは標本数がだいぶ異なる点が気になりますが。。。

Z0=|U-E(U)|/sqrt(V(u)) , U=n1n2+n1(n1+1)/-R1 , E(U)=n1n2/2 , V(U)=n1n2(n+1)/12 に,n1=4, n2=5, n=9 を代入すると,z0^2=(3/50)^2*(20-R1)^2になるように思います。このとき,R1は10=<R1=<30の範囲にあるよ うに思います(10=1+2+3+4,30=6+7+8+9)とすると,0=<z0^2=<0.36となり,z0は0=<Z0=& lt;0.6の範囲になりそうです。

標本数nの母集団から4つ,ランダムに選んでn1を作るとz0,すなわちP値は0から0.6の範囲に収まる。つまり,区間(0,1)の一様分布にならないという結果になった気がします。

素人的には,P値は標本数によらず一様に分布するより,標本数に影響を受けるのほうがしっくりくるのですが,No. 7489のデータが示すとおりどこか間違っているようです。どこが間違っているのでしょうか。

No.07495 Re: マン・ホイットニー検定の際の標本数の影響について  【青木繁伸】 2008/08/27(Wed) 22:09

二群に差があるとすればということで始めるか,差がない状況下で始めるかで結論は違うのではないかなと。
以下のようなシミュレーションをやってみましたけど。図の上の4つは位置母数に差がない場合。サンプルサイズをいくら多くしていってもP値は一様分布。
図の下の場合は,位置母数に差がある場合。サンプルサイズを大きくしていくとP値は小さくなる。要するにデータをたくさん集めれば有意だという結果が得られやすくなるということ。図をクリックすると原寸表示します
プログラムは以下のごとし(最適化していない)
sim <- function(n, delta=0, trial=1000)
{
result <- numeric(trial)
for (i in 1:trial) {
x1 <- rnorm(n)
x2 <- rnorm(n, mean=delta)
result[i] <- wilcox.test(x1, x2)$p.value
}
return(result)
}
layout(matrix(1:8, byrow=TRUE, ncol=4))
for (n in c(10, 50, 100, 200)) {
hist(sim(n, delta=0), main=paste("delta=0, n=", n, sep=""), xlab="p value")
}
for (n in c(10, 50, 100, 200)) {
hist(sim(n, delta=0.2), main=paste("delta=0.2, n=", n, sep=""), xlab="p value")
}
layout(1)


No.07497 Re: マン・ホイットニー検定の際の標本数の影響について  【青木繁伸】 2008/08/28(Thu) 09:21

> No. 7494

表記ミス,論理展開のミスがありますね。サンプルサイズが小さくて正規近似はとても成り立たないですけど,全ての標本空間におけるP値は以下のようになる。
 P value Freq
1 0.014 2
2 0.027 2
3 0.05 4
4 0.086 6
5 0.142 10
6 0.221 12
7 0.327 16
8 0.462 18
9 0.624 22
10 0.806 22
11 1 12
画像をクリックすると原寸表示


No.07511 Re: マン・ホイットニー検定の際の標本数の影響について  【sqrt】 2008/08/29(Fri) 19:38

一日,自分なりに大標本のマン・ホイットニー検定のP値の振る舞いを考えてみました。

二群の違い が大きいのであれば,高い確率で差が検出されP値は小さくなる(検出力が高くなる)。一方,二群の違いが小さくなるにつれ,マン・ホイットニー検定で検出 される二群の違いはランダムな誤差だけになる。この誤差は,検出されるほど大きいときもあれば,小さいときもある。このためP値は一様分布を取る。

一応,このような理解をしているのですが,正規分布に従うはずのZ0が二群の違いがちいさくなるにつれ,うにょうにょと一様分布に変化するというイメージが正直違和感あります。


小 標本のP値については,まだ分かりそうな気がしません。実は,No.7494のすべての標本空間のP値をあらわした表の見方すら分からなくて。。。 Freqは度数でn=9の母集団から抽出した標本の数でしょうか。それとも検定統計量Uなのでしょうか。なぜ,同じ度数が複数回現れているのでしょうか。

お手数ですが,表の見方を教えてください。よろしくお願いいたします。

No.07512 Re: マン・ホイットニー検定の際の標本数の影響について  【青木繁伸】 2008/08/29(Fri) 20:05

n1=4 と n2=5 において,あらゆる可能なUの実現値とその頻度について,UによるP値を計算して,表にしただけです。
U=0, U=20 が一番極端な場合(両側検定のとき)で,それぞれ頻度は1,そのときのP値が 0.014ということです。

> 正規分布に従うはずのZ0が二群の違いがちいさくなるにつれ,うにょうにょと一様分布に変化するというイメージが正直違和感あります。

z0 は正規分布しますが Pr{|z| < z0} が正規分布するわけではありません。

No.07550 Re: マン・ホイットニー検定の際の標本数の影響について  【sqrt】 2008/09/01(Mon) 18:07

sqrtです。

せっかくTYさま,知ったかぶりさま,青木先生にご指導いただいたのですが,結局よく分かりませんでした。私にはまだ十分理解する力がないようですので,これから勉強していきたいと思います。

ご指導いただいた皆様ににお礼申し上げます。

● 「統計学関連なんでもあり」の過去ログ--- 042 の目次へジャンプ
● 「統計学関連なんでもあり」の目次へジャンプ
● 直前のページへ戻る