「統計学関連なんでもあり」の過去ログ--- 038

No.00207　外れ値？　　【KK】　2006/05/30(Tue) 23:09

初心者ですが，ご教授ください。

以下のようなデータがあったとします。

 a|  b |   c
---------------
 2| 642|  4.62
 3| 299| 10.99
 4|  91| 29.48
 5|  18|107.11
 6|   2|  1.00

a=問題の難易度（大きい値ほど難）
b=正解者数（1000人中）
c=回答に要した時間の平均（秒）

このとき，難易度6のデータが明らかに異常な事は目で見てわかるのですが，回答者が2名しかいないということで，「回答に要した時間の平均」は統計的に信頼できないとして良いものでしょうか？

また，統計的に信頼できないことは何らかのテストによって客観的に示すことができるものでしょうか？

どうかよろしくお願いします。

No.00209　Re: 外れ値？　　【ひの】　06/05/30(Tue) 23:22

問題の難度が何を示すかですね。単に正解者の率が低いものを「難しい」と定義するなら，難度と解答に要する時間とは無関係です。誰でも解ける簡単な問題でも計算が面倒（たとえば足し算が1000回続く）なら時間がかかるでしょうし，マニアックな知識を問う難問なら，確かに正解率は低いでしょうが，答えは一瞬で出るはずです。そういったことを考慮せずに数字だけ論じても意味がありません。

No.00210　Re: 外れ値？　　【KK】　06/05/30(Tue) 23:32

回答いただきありがとうございます。

ここでの問題は足し算や掛け算の暗算で，その場で筆算等を行うことは許さず回答者は目で見て頭の中で計算をすることを求められます。また，難易度に応じて足し合わせたり掛けたりする数の桁数が大きくなっていきます。

No.00212　Re: 外れ値？　　【青木繁伸】　06/05/31(Wed) 00:03

対応のあるデータなのか，独立なデータなのかとか，そのあいのこなのかとか不明ですが。

いずれにせよ，データが少ないので結論を保留して，もう少しデータが集まるのを待つ（あるいはデータが集まるように工夫する）ということが必要なのでしょう。

データを採る条件を整備しておかないと，得られたデータを後で料理できなくなってしまいますのでご注意。

No.00213　Re: 外れ値？　　【KK】　06/05/31(Wed) 01:16

ありがとうございます。

> 対応のあるデータなのか，独立なデータなのかとか，そのあいのこなのかとか不明ですが。
すいません。同じ回答者に続けて問題2～6を出題し，
それを1000人分のデータをとりました。

回答者には，知識を問う質問や掛け算，足し算をランダムに出題しました。
回答者は筆算は許されていませんが，任意にパスすることは許されています。
上の表はそのうち，足し算に関して，パスした人や不正解だった人を除いた，
問題に正解した回答者だけに関するものです。

> いずれにせよ，データが少ないので結論を保留して，もう少しデータが集まるのを待つ（あるいはデータが集まるように工夫する）ということが必要なのでしょう。
残念ながら，これ以上データが集まる見込みがありませんで…

このデータから「問題の難易度が上がると回答者数は減少し，回答に要する時間は増加する」
ぐらいは言えるかな，と思っていたのですが，やはりこのデータは必要な条件を満たして
いないので捨てざるをえないでしょうか。（自業自得かとは思いますが）

No.00214　Re: 外れ値？　　【ひの】　06/05/31(Wed) 03:12

発言の度に内容がころころ変わっていますね。
それはともかく，暗算のスピードは訓練を積んだ者とそうでない者では桁違いに違うでしょう。1000人中2人しか正解できない暗算問題の正解者は暗算の訓練を積んだ人でしょうから，問題の難易にかかわらず短時間で答えを出せるということですね。その二人の他の暗算問題での所要時間を他の人と比べてみればすぐ分かることです。問題が難しくなると時間がかかるのは暗算の素人だけということですね。
正解者の所要時間という偏ったサンプルだけ集計するからそういう変なことになる。

No.00215　Re: 外れ値？　　【ひの】　06/05/31(Wed) 03:23

>すいません。同じ回答者に続けて問題2～6を出題し，
>それを1000人分のデータをとりました。
>
>回答者には，知識を問う質問や掛け算，足し算をランダムに出題しました。
>回答者は筆算は許されていませんが，任意にパスすることは許されています。
>上の表はそのうち，足し算に関して，パスした人や不正解だった人を除いた，
>問題に正解した回答者だけに関するものです。

矛盾していますね。「同じ回答者に続けて問題2～6を出題し」，「回答者には，知識を問う質問や掛け算，足し算をランダムに出題し」たのであれば，
「上の表はそのうち，足し算に関して，パスした人や不正解だった人を除いた，問題に正解した回答者だけに関するものです。」というような集計は出来ませんよね。集計された「問題2～6」はすべて足し算ですから，「知識を問う質問や掛け算」を混ぜる余地はなかったはずです。

また先の発言，

>ここでの問題は足し算や掛け算の暗算で，
>その場で筆算等を行うことは許さず
>回答者は目で見て頭の中で計算をすることを求められます。
>また，難易度に応じて足し合わせたり掛けたりする数の
>桁数が大きくなっていきます。

とも内容が矛盾しています。

No.00216　Re: 外れ値？　　【KK】　06/05/31(Wed) 04:09

ひのさん，申し訳ありません。
>ここでの問題は足し算や掛け算の暗算で，
の部分は完全に間違えました。その他の部分について矛盾が出てくるのは決して嘘を言っているからではなく，私の説明が下手なせいだと思います。

的外れな質問をしてしまったことをお詫びいたします。