「統計学関連なんでもあり」の過去ログ---028

★ 欠損値を含む場合，クロス集計表のAICをどう扱うべきでしょうか ★

3056.　欠損値を含む場合，クロス集計表のAICをどう扱うべきでしょうか　とみたろう　2004/05/03 (月) 22:21
├3075.　Re: 欠損値を含む場合，クロス集計表のAICをどう扱うべきでしょうか　けむ　2004/05/06 (木) 16:00
└3073.　Re: 欠損値を含む場合，クロス集計表のAICをどう扱うべきでしょうか　青木繁伸　2004/05/06 (木) 13:35
　└3095.　Re^2: 欠損値を含む場合，クロス集計表のAICをどう扱うべきでしょうか　とみたろう　2004/05/07 (金) 23:32
　　└3096.　Re^3: 欠損値を含む場合，クロス集計表のAICをどう扱うべきでしょうか　青木繁伸　2004/05/07 (金) 23:55

3056.　欠損値を含む場合，クロス集計表のAICをどう扱うべきでしょうか　とみたろう　　2004/05/03 (月) 22:21

勉強不足でお恥ずかしいのですが，AICについてご教示下さい。
アンケート調査データを用いて一つの特性項目と関連性の深い質問項目を見極めるために，統数研坂本先生の論文に従いクロス集計表のAICを算出し比較する，という作業を行おうとしています。
しかし，アンケートには宿命的に回答拒否や無回答・不明といった欠損値が発生します。
欠損値をカテゴリーに含めてクロス集計を行えばサンプル数は一定となりますが，欠損値の影響が介入してしまいます。他方，欠損値を除外すると変数によって欠損サンプル数が異なるため，クロス表によって集計対象サンプル数が変わってしまいます。
そこで質問です。
1．上記のような場合，欠損値を含めるべきか，除外するべきか
2．もし欠損値を除外した場合，集計対象サンプル数が異なってもAICの比較は有効と考えて良いのでしょうか？（AICは相対的な関係を示す統計量だと思いますが，集計対象となるサンプル数の違いは前提となる多項分布の分散，あるいは尤度として考慮されていると考えて良いのでしょうか？）

　　　　　[このページのトップへ]

3075.　Re: 欠損値を含む場合，クロス集計表のAICをどう扱うべきでしょうか　けむ　　2004/05/06 (木) 16:00

> 2．もし欠損値を除外した場合，集計対象サンプル数が異なってもAICの比較は有効と考えて良いのでしょうか？

すべての変数において欠損値のないケースのみを処理する，listwise の削除をします．
そうするとサンプルの大きさは同じになります．しかし，この処理だと困るのならAICは使えないかもしれません．

　　　　　[このページのトップへ]

3073.　Re: 欠損値を含む場合，クロス集計表のAICをどう扱うべきでしょうか　青木繁伸　　2004/05/06 (木) 13:35

> 1．上記のような場合，欠損値を含めるべきか，除外するべきか

AIC とか何とか言うより前に，欠損値を含めて分析するのが適切かどうかの判断があるべきですね。つまり，欠損値が何らかの情報を持っていると考えられるかどうか。

> 2．もし欠損値を除外した場合，集計対象サンプル数が異なってもAICの比較は有効と考えて良いのでしょうか？（AICは相対的な関係を示す統計量だと思いますが，集計対象となるサンプル数の違いは前提となる多項分布の分散，あるいは尤度として考慮されていると考えて良いのでしょうか？）

AIC は，「同じデータ」の「異なるモデル」間の優劣をはかるものでしょう。

「違うデータ」に「同じモデル」を適用したときの AIC は比較できないでしょう。

AIC の定義式を見てもわかるように，n*log(n) の項があるので，n が違うと比較の意味がなくなるのでは？

　　　　　[このページのトップへ]

3095.　Re^2: 欠損値を含む場合，クロス集計表のAICをどう扱うべきでしょうか　とみたろう　　2004/05/07 (金) 23:32

早速のコメント，有り難うございました。

> > 1．上記のような場合，欠損値を含めるべきか，除外するべきか
>
> AIC とか何とか言うより前に，欠損値を含めて分析するのが適切かどうかの判断があるべきですね。つまり，欠損値が何らかの情報を持っていると考えられるかどうか。

はい，このご指摘の件はおっしゃる通りだと思いますので，気を付けたいと思います。

> > 2．もし欠損値を除外した場合，集計対象サンプル数が異なってもAICの比較は有効と考えて良いのでしょうか？
>
> AIC は，「同じデータ」の「異なるモデル」間の優劣をはかるものでしょう。
>
> 「違うデータ」に「同じモデル」を適用したときの AIC は比較できないでしょう。

どうも有り難うございました。欠損値が含まれるアンケートデータのようなケースでは，AICを用いる場合は欠損値をカテゴリーの一つとして（もしくは意味を考えた上で他のカテゴリーと併合して）扱うべきである，ということだと理解しました。

　　　　　[このページのトップへ]

3096.　Re^3: 欠損値を含む場合，クロス集計表のAICをどう扱うべきでしょうか　青木繁伸　　2004/05/07 (金) 23:55

> どうも有り難うございました。欠損値が含まれるアンケートデータのようなケースでは，AICを用いる場合は欠損値をカテゴリーの一つとして（もしくは意味を考えた上で他のカテゴリーと併合して）扱うべきである，ということだと理解しました。

読み違えていますよ。

　　　　　[このページのトップへ]