「統計学関連なんでもあり」の過去ログ--- 040

No.02497　独立したt検定　　【ota】　2007/01/28(Sun) 12:57

はじめまして。統計のことがあまり理解できていない者です。恐縮ですが，以下の質問にお答えいただきたく，書き込ませていただきました。

就職セミナーの効果を調べようと思います。そこで，就職セミナーへの参加前に，参加対象者にあるスケール（30項目から成る）を用いて，就職活動に対する自信を測定しようと思います。そして，セミナー終了後にもう一度全く同じスケールを用いて，就職活動に対する自信を測定します。ただ，個人情報等の問題があり，被験者には無記名で回答をしてもらうつもりです。そのため，対応のあるt検定が使えなくなります。そこで，独立したサンプルのt検定を使用しようと思います。もしその検定で，参加前の就職活動に対する自信の平均値が，参加後のその平均値との間に有意差（事後の平均値が，事前の平均より高い）が見られたのであれば，就職セミナーの効果があったのではないかと，述べることは可能なのでしょうか？

どうぞよろしくお願いいたします。

No.02499　Re: 独立したt検定　　【青木繁伸】　2007/01/28(Sun) 18:36

> そのため，対応のあるt検定が使えなくなります。そこで，独立したサンプルのt検定を使用しようと思います。

だめです。
調査方法を工夫しましょう。
セミナー前の調査時に，「所定欄に自分にだけ分かる10桁の数値を書いてください。なるべく他の人が同じものを書かないだろうと思う数値にしてください。その数値は，セミナー後の調査時にもう一度書いてもらいますから，どこかにメモしておいてください。」と依頼するというのはいかがでしょうね。

全く別の人が10桁の同じ数字を書く確率は非常に小さいでしょう。

この指示がうまくいけば，対応のある平均値の差の検定をすることができますよ。

No.02501　Re: 独立したt検定　　【矢野宏之】　2007/01/28(Sun) 20:08

携帯電話の下何桁かを記入してもらうのはどうでしょうか？これなら，個人を特定するのも難しいですし，番号を忘れることによる欠損も少ないと思います．

No.02502　Re: 独立したt検定　　【青木繁伸】　2007/01/28(Sun) 20:37

> 携帯電話の下何桁かを記入してもらう

これは，個人を特定できる可能性が高くなる（と，被検者が思う）ので，避ける方が良いでしょう。
状況にもよりますが，何らかの状況で，受講生の携帯電話番号をどこかに投稿させているような場合にはまず，避けるべきでしょう。
全員の電話番号が分かっていない場合でも，自分のゼミの学生の電話番号を確認済みという場合には，その対象者は居心地の悪い思いをするでしょう。

ランダムな数値でよいけど，それを，本人が忘れてしまっては困るので，当人にしか分からない数値を選んでもらって，それを（再調査の時点までに）忘れないようにどこかにメモしておいてもらうというようなことです。

忘れた人がいたり，ご記入がいたり，重複したりというデータは残念ながら棄却しないといけないでしょうが，そのようなことが起こる確率はかなり低いと思います。
少なくとも，その数値が一致したデータは確実に同一人のデータでしょう。

数桁の数値を書いてもらう意図を十分説明して，その数値を書くことで個人は特定できないのだと言うことを十分理解してもらって行えば，よろしいかと思います。

結果を教えて頂ければ，みんなの役に立つかもしれませんね。（私も，いつか必要になったときには行おうと思ってはいるのですが，まだ実際に行った経験はないのです）

No.02503　Re: 独立したt検定　　【ひの】　2007/01/28(Sun) 20:42

数字を書いてもらう方法は私も考えましたが，この場合そうしなくても最初の調査票を本人にセミナー終了まで持っていてもらって，終了後の調査票と同時にセットで提出してもらえば済む話ではないですか？

No.02504　Re: 独立したt検定　　【青木繁伸】　2007/01/28(Sun) 20:52

> 最初の調査票を本人にセミナー終了まで持っていてもらって，終了後の調査票と同時にセットで提出してもらえば済む話ではないですか

そうですね。
おっしゃるとおり。
調査期間があいたとしても，初回の調査票を持ち帰ってもらって，二回目の調査票回収時に併せて回収すればよいのですね。

後でまた考えたのだけど，最近の（?）学生は，前の調査票を持ってくるのを忘れちゃうと，回収率が悪くなるとか（後で，セットで持って行くというのは個人の特定をされそうで，いやがるのではないかなとか）

考え過ぎだったか。。。。

No.02505　Re: 独立したt検定　　【ota】　2007/01/28(Sun) 21:02

皆様，お返事，誠にありがとうございます。
面白い方法ですね。
その方法を使用させて頂きます。

ただ1つ気になったのですが，以前，某報告書のなかで，ある研修の効果を調べるために，私と同じ考えで，「就職活動に対する自信」を事前・事後に測定し，t 検定を使用しているものがございました。結果，参加後のその平均値との間に有意差（事後の平均値が，事前の平均より高い）が見られたので，「参考程度ではあるが，その研修は効果が期待できるのかもしれない」と書かれていました。そういうことは言えるのでしょうか？何度もすみません。

No.02506　Re: 独立したt検定　　【青木繁伸】　2007/01/28(Sun) 21:54

そのような間違ったデータ解析は，考慮の対象になるべくもありません。

たとえば10個ずつのデータを作り，その順序（対応）を入れ替えて検定して見るという，「思考実験」をすれば分かります。

データをどのように入れ替えようと，そのデータを対応のないデータとして見れば，いつも同じ結果ですよね。

対応があるデータとして解析すれば，あるデータがどのデータと対応があるのかによって，違う結果が出ますよね。

実際に得られたデータは，データの回収方法の不備があろうとなかろうと，本来は対応のあるデータで，しかも，その対応は，どんな対応であってもいいのではなく，その対象者で，その調査対象項目であるのですから，唯一無二の結果を示すわけです。

先行研究というのは尊重すべきではありますが，ダメダメ先行研究は唾棄すべきものであります。

No.02507　Re: 独立したt検定　　【ota】　2007/01/29(Mon) 04:41

勉強になりました。誠にありがとうございます。間違った検定を行わないよう，心がけて参ります。