「統計学関連なんでもあり」の過去ログ--- 048

No.22332　尺度開発　テストー再テストの2回の集団の代表性を示す意味　　【kashio】　2017/04/28(Fri) 19:10

いつもご助言ありがとうございます

尺度開発の論文を投稿しました。査読者から以下4の指摘がありました。

4.研究結果
① 対象の特性について，表1には1回目調査の結果のみですが，2回目調査に協力した集団（152名）は1回目調査の集団（774名）と特性が変わらないという前提でしょうか。1回目と2回目の調査対象に違いがないことを示す必要があります（サンプル代表性の担保）。つまり，表1には1回目と2回目の調査対象に関する記述集計を併記し，群間差があるか検定結果を示してください。検定方法については，p7のD.分析方法へ加筆してください。

これがどうもわかりません。

ほとんどの病院が2回（テスト—リテスト）はいやというので
1回目の調査の中の3病院が共同研究者の病院でここに頼みました。
300人ほどに頼みましたが，有効回答は半数以下でした。これもあり
テストーリテストは0・6で確かに低く課題が残りました。今後の課題だと書くつもりです。

2回目のテストは，テスト再テスト法にのみ使用します。
人数が少ないので，年齢，子供の有無，教育背景などにも差が出ますが，
示す意味が分からず，差があるから，なんだというのかもわかりません。
1回目の因子分析等の集団と再テストの集団と母集団が違うとだめ
違うのでしょうか？
ほかの尺度開発の論文をいくつか読みましたが，2回目の特性を示しているものは一つもありません。2回目は，1回目の一部です。そしてその同じ集団でテストーリテストの解析です。
代表性を示す意味も分かりません。

No.22334　Re: 尺度開発　テストー再テストの2回の集団の代表性を示す意味　　【青木繁伸】　2017/04/29(Sat) 22:39

極端な場合を考えてみましょう。

尺度構成は800人（男女400人ずつ）のデータで行った。
2回目の調査は（極端にもほどがあるが）女150人に行った。
再現性の検討は2回とも調査できた女150人分のデータで行った。...
これでは，再現性があるなしをいえませんね。

そのあたりの担保が欲しいのでは？つまり，あなたの2回の調査で，対象者の背景因子に大きな違いがないと言って欲しいのかな。

しかし，再現性の検討は，尺度構成に使った集団とは違う集団に対して（妥当性もチェックできるし），もう少しサンプルサイズが大きい調査を行う必要があると思います。サンプルサイズが小さいと，「再現性がある」のか「再現性がないのだけど，それを検出できないだけ」なのかわかりませんからね。再現性を言うためにはなるべく少ないサンプルサイズで調査するのが...などと。

No.22335　Re: 尺度開発　テストー再テストの2回の集団の代表性を示す意味　　【kashio】　2017/04/29(Sat) 23:36

ありがとうございました。男性が少なかったので女性だけを対象としてやり直しました。
青木先生の指摘通り，テスト再テストの人数が少ないうえ，共同研究者の大学の関連病院3つにしたため，特性も差が出ました。尺度の平均には差が出なかったのですが，年齢，実務職種，最終学歴に差が出ました。もうどうにも考察しようがないでしょうか？
探索的因子分析，確証的因子分析の結果は良好でした。クロンバックαは，0.69から0.84でした。テストリテストは，の相関係数は，0.6なので妥当性，信頼性はおおむね良好であったとは言えないでしょうか？

No.22336　Re: 尺度開発　テストー再テストの2回の集団の代表性を示す意味　　【青木繁伸】　2017/04/30(Sun) 17:46

まさかの「男性が少なかったので女性だけを対象としてやり直しました。」ですか。

調査デザインとして問題が多いでしょうね。

No.22337　Re: 尺度開発　テストー再テストの2回の集団の代表性を示す意味　　【kashio】　2017/05/01(Mon) 05:17

お返事ありがとうございます。対象が看護師なので最初から2000人以上対象にしないと男性看護師までは，無理かと危惧されたのですが，2回の調査の協力病院が得られず，尺度の平均にも性差が出たので，査読者に指摘されやり直しました。テストー再テストも0.6だったのでつらいですが，信頼性に課題が残ったが妥当性は確保されたとして査読者に返します。いつもありがとうございます。