「統計学関連なんでもあり」の過去ログ--- 041

No.06708　トライアル数の多寡は、有意検定にとって無意味なのですか？　　【ＲＴ】　2008/06/08(Sun) 17:40

ある課題に対する反応時間を計測する実験を行いました。
トライアル数が多くなるほど，統計検定の信頼性が増すと考えられるのですが，
その方法がわかりません。
教えていただければ幸いです。

（被験者は9人，条件は2要因で各3水準の計6条件で，
すべての被験者がすべての条件について課題を行います。）

このとき，各条件で10回課題を行ってもらって，反応時間を計測します。

この"10回課題を行ったこと"を統計解析に持ち込みたいのですが，
そのやり方がわかりません。。

このままでは10回のデータを平均して1つのデータになってしまいます。

しかし，平均値を使うのでは，一人1条件あたり100回実験を行おうが，
1000回実験を行おうが，そのトライアル数が関係なくなってしまいます。

トライアル数が多いほうが安定したデータが得られるはずで，
この方法は間違っていると考えられます。。

どうすれば，トライアル回数を解析に持ち込むことができるのか
教えていただけますでしょうか。
よろしくお願いいたします。

（なお，各条件内で行わせた課題は，難易度は同じなのですが，
少し異なった課題です。

たとえば，足し算を行わせて，
(1)3＋4＝？，（2）2＋5＝？・・・(10)5＋1＝？
で全10問，という具合です。）

No.06712　Re: トライアル数の多寡は，有意検定にとって無意味なのですか？　　【takahashi】　2008/06/09(Mon) 19:01

試行数を増やすことで，その被験者の平均反応時間は，その被験者の真の反応時間に近づきます(中心極限定理)。
よって，各被験者の平均反応時間をひとつのサンプルと考えれば，試行数が増えるほど観測ノイズは減るので，SN比があがり，要因の効果が(存在するなら)検出されやすくなる。
「10回課題を行った」ということは，「暗に」統計解析の中に組み込まれていると考えることが出来るかもしれない。

あんまり自信のある話ではないです。

No.06715　Re: トライアル数の多寡は，有意検定にとって無意味なのですか？　　【ひの】　2008/06/09(Mon) 20:38

>試行数を増やすことで，その被験者の平均反応時間は，その被験者の真の反応時間に近づきます(中心極限定理)。

　各試行が独立で等価ならばよいのですが，このような実験の場合，試行回数を重ねることによって被験者が課題に習熟して反応時間が短くなるとかあるいは逆に疲労によって反応時間が長くなるなどの影響が出る可能性があります。事前にこういう効果を確かめて適切な試行回数を求めるのがよいと思います。

No.06716　Re: トライアル数の多寡は，有意検定にとって無意味なのですか？　　【青木繁伸】　2008/06/09(Mon) 20:41

この方面は私は分からないのでコメントを控えていたのですが，試行数を反映できない検定というのは，それが間違えているからではないですか。今回の場合で言えば，2元配置で繰り返しが同一人に対しての10回の測定ということでしょう。繰り返しなしとして，一個の平均値を使ってしまっては10回やろうと100回やろうと同じになるのは当たり前でしょう。
ひのさんが指摘したような，学習効果，疲労効果があるのも考慮しないといけないでしょうけど。

No.06724　Re: トライアル数の多寡は，有意検定にとって無意味なのですか？　　【takahashi】　2008/06/10(Tue) 00:09

いいことか悪いことかわかりませんが，人を対象として反応時間を従属変数として扱う分野では，人を最小単位とするということが多いようにと思います(つまり，各被験者の平均をひとつのサンプルとして扱う)。

あと青木先生の指摘ですが，分散分析で，被験者の平均を使って1元配置にしても，繰り返しを要因に組み込んで2元配置にしても，対象となる要因の効果は変わらないと思います。たとえば，
set.seed(0)
dat<-data.frame(s=gl(8,5*2),c=gl(2,5,2*5*8),rep=gl(5,1,2*5*8),val=runif(2*5*8))
dat2<-aggregate(dat$val, list(s=dat$s,c=dat$c), mean)
# 1 way repeated
summary(aov(x~c+Error(s+s:c),dat2))
# 2 way repeated
summary(aov(val~c*rep+Error(s+s:c+s:rep+s:c:rep),dat))
が，もしかしたら青木先生の指摘を根本的に誤解してるかもしれないので，そのときはごめんなさい。

ひのさんのおっしゃるとおり，疲労や学習の効果は考える必要が(理想的には)あります。
通常は，異なる条件をランダムな順番で行うことで，表面上，学習効果などの問題を回避している場合が多いように思います。実際，人の反応では，疲労や学習などの検出可能なノイズよりも，わけのわからない内部ノイズの方が遥かに大きいことが多いので。

No.06736　Re: トライアル数の多寡は，有意検定にとって無意味なのですか？　　【青木繁伸】　2008/06/10(Tue) 15:03

R で実行できない人のために

> set.seed(0)
> dat<-data.frame(s=gl(8,5*2),c=gl(2,5,2*5*8),rep=gl(5,1,2*5*8),val=runif(2*5*8))
> dat2<-aggregate(dat$val, list(s=dat$s,c=dat$c), mean)
> # 1 way repeated
> summary(aov(x~c+Error(s+s:c),dat2))

Error: s
          Df   Sum Sq  Mean Sq F value Pr(>F)
Residuals  7 0.078452 0.011207               

Error: s:c
          Df  Sum Sq Mean Sq F value Pr(>F)
c          1 0.00352 0.00352  0.1765  0.687
Residuals  7 0.13958 0.01994               
> # 2 way repeated
> summary(aov(val~c*rep+Error(s+s:c+s:rep+s:c:rep),dat))

Error: s
          Df  Sum Sq Mean Sq F value Pr(>F)
Residuals  7 0.39226 0.05604               

Error: s:c
          Df  Sum Sq Mean Sq F value Pr(>F)
c          1 0.01760 0.01760  0.1765  0.687
Residuals  7 0.69789 0.09970               

Error: s:rep
          Df  Sum Sq Mean Sq F value Pr(>F)
rep        4 0.04322 0.01081  0.1794 0.9471
Residuals 28 1.68647 0.06023               

Error: s:c:rep
          Df  Sum Sq Mean Sq F value Pr(>F)
c:rep      4 0.21343 0.05336  0.5674 0.6883
Residuals 28 2.63292 0.09403

この例で，c 1 0.01760 0.01760 0.1765 0.687 が同じであるというご指摘ですね？

No.06737　Re: トライアル数の多寡は，有意検定にとって無意味なのですか？　　【takahashi】　2008/06/10(Tue) 15:09

結果も載せておくべきでしたね。すいません。

いいたいことはその通りで，1wayと2wayでF値とP値は変わりません。
なので，10repだろうが1000repだろうが，それを要因として2wayに組み込んでも，関心があるcの効果は，統計学的な意味では何も変わらないということです。

No.06763　Re: トライアル数の多寡は，有意検定にとって無意味なのですか？　　【RT】　2008/06/11(Wed) 20:16

すみません，ご返信が遅くなり大変失礼いたしました。

まず青木先生のご指摘で気づいたことは，
私が，"反復測定"と"繰り返し"を混同していた，ということです。
（初歩的ですみません…）

ただ，takahashiさんのご指摘によれば，
＞人を対象として反応時間を従属変数として扱う分野では，
＞人を最小単位とするということが多いようにと思います
＞(つまり，各被験者の平均をひとつのサンプルとして扱う)

とのことですし，また，

＞分散分析で，被験者の平均を使って1元配置にしても，
＞繰り返しを要因に組み込んで2元配置にしても，
＞対象となる要因の効果は変わらないと思います

とのことですので，とりあえず，後で「繰り返し」を考慮して
結果が同じになることをきちんと確かめたいと思います。

（また，takahashiさんが書いてくださったプログラムはRのものであり
青木先生が載せてくださったものはその出力結果なのでしょうか？
Rにもチャレンジしてみたいと思います。）

青木先生，takahashiさん，明解に示していただきありがとうございました。

ただ，謎として残るのは，
＞10repだろうが1000repだろうが（中略）関心があるcの効果は，
＞統計学的な意味では何も変わらない

という点ですね。
やはり素人考えでは「くり返し数が多ければ，その分信頼性の高い，
検定結果が得られるべきだ」と思ってしまうのですが…

不思議ですね。。

No.06764　Re: トライアル数の多寡は，有意検定にとって無意味なのですか？　　【青木繁伸】　2008/06/11(Wed) 20:56

> ただ，謎として残るのは，
> ＞10repだろうが1000repだろうが（中略）関心があるcの効果は，
> ＞統計学的な意味では何も変わらない

ひとたびデータが得られてしまえば，その平均値を使って分析しようが，元のデータを使って分析しようが同じということですけど，10回反復して得られる母平均推定値と100回反復して得られる母平均推定値は当然後者の方が精度は高いので，本当に差があれば検出される可能性が高くなるし，差がないのにたまたまの標本誤差で差があるという結果になることも少なくはなるでしょう。その意味では，がんばってデータを取るとそのがんばりには報酬がついてくるだろうと言うことです。

No.06765　Re: トライアル数の多寡は，有意検定にとって無意味なのですか？　　【RT】　2008/06/11(Wed) 21:14

ありがとうございます。
たくさん実験を行えば，標本平均自体が真の平均値に近づくから…云々
ということですね。

ただ，データの数の影響が“統計の枠組みの外側”で効いてくるというのは
変な感じがしてしまいますね…

（私のデータの場合，

2要因で，すべての被験者がすべての条件に参加しており，
また，それぞれの条件で10回のくり返しがある，という

“対応ありあり”のデータ（ただしトライアル毎の対応はない）なのですが，

どうやらそこまでの設定について論じている本がないようです…(涙)）

No.06767　Re: トライアル数の多寡は，有意検定にとって無意味なのですか？　　【青木繁伸】　2008/06/11(Wed) 21:47

takahashi さんのプログラムを元にして，繰り返し数を変化させたときに検出力がどのようになるかのシミュレーションをしてみました。
被験者数8，処理群2，処理による平均値の差0.5，標準偏差1の正規乱数を生成。繰り替え指数が1～30で検出力を図示しました。
sim <- function(delta=0.5, repetition=5, subjects=8, trial=10000)
{
	count <- 0
	for (i in 1:trial) {
		dat <- data.frame(s=gl(subjects, repetition*2),
                                  c=gl(2, repetition, 2* repetition* subjects),
                                  rep=gl(repetition, 1, 2* repetition* subjects))
		dat$val <- rnorm(2* repetition* subjects, mean=ifelse(dat$c==1, 0, delta))
		dat2 <- aggregate(dat$val, list(s=dat$s, c=dat$c), mean)
		# 1 way repeated
		ans <- summary(aov(x~c+Error(s+s:c), dat2))
		if (ans[[2]][[1]][[5]][1] < 0.05) count <- count+1
	}
	return(count/trial)
}

set.seed(0)
n <- 1:30
power <- sapply(n, function(i) sim(trial=1000, repetition=i))
plot(n, power, type="l", xlab="repetition", ylab="power")

No.06778　Re: トライアル数の多寡は，有意検定にとって無意味なのですか？　　【takahashi】　2008/06/12(Thu) 01:27

わかりやすい図をありがとうございます。
手元でType I Errorもみてみると，こっちはサンプルサイズによらず一定に見えますが，理論上そうなるんでしょうか。

サンプルサイズが大きくなるほど標本平均の分散は小さくなって，同時に自由度が大きくなるから採択域が小さくなる。
ここまではわかるけど，一定かどうかはわからない・・・

No.06784　Re: トライアル数の多寡は，有意検定にとって無意味なのですか？　　【青木繁伸】　2008/06/12(Thu) 11:27

>
手元でType I Errorもみてみると，こっちはサンプルサイズによらず一定に見えますが，理論上そうなるんでしょうか。

Type I Error は 0.05 に固定しているのでは？

No.06787　Re: トライアル数の多寡は，有意検定にとって無意味なのですか？　　【takahashi】　2008/06/12(Thu) 13:13

あーそうか。そうです。
寝ぼけてました。