「統計学関連なんでもあり」の過去ログ---037

★ 回帰モデルと変数選択 ★

9579.　回帰モデルと変数選択　ビギナー　2006/03/06 (月) 15:27
└9580.　Re: 回帰モデルと変数選択　医薬統計家　2006/03/06 (月) 18:27
　└9581.　Re^2: 回帰モデルと変数選択　ビギナー　2006/03/06 (月) 18:51
　　├9594.　Re^3: 回帰モデルと変数選択　医薬統計家　2006/03/07 (火) 09:28
　　└9583.　Re^3: 回帰モデルと変数選択　ごう　2006/03/06 (月) 21:44
　　　└9593.　Re^4: 回帰モデルと変数選択　ビギナー　2006/03/07 (火) 09:19

9579.　回帰モデルと変数選択　ビギナー　　2006/03/06 (月) 15:27

一般に，変数選択を行い，選択された変数で回帰モデルを構築する場合ですが，交差妥当性の検討で10-fold cross validationを適用するとき，
(1)全データを使って，変数選択を行う→全データを10分割し，9割のデータで回帰モデル構築→残り1割をあてはめ。
(2)全データを10分割し，9割のデータで変数選択，回帰モデル構築→残り1割をあてはめ。

(1)と(2)のどちらが適しているのでしょうか？
ご教授ください。

　　　　　[このページのトップへ]

9580.　Re: 回帰モデルと変数選択　医薬統計家　　2006/03/06 (月) 18:27

> 一般に，変数選択を行い，選択された変数で回帰モデルを構築する場合ですが，交差妥当性の検討で10-fold cross validationを適用するとき，
> (1)全データを使って，変数選択を行う→全データを10分割し，9割のデータで回帰モデル構築→残り1割をあてはめ。
> (2)全データを10分割し，9割のデータで変数選択，回帰モデル構築→残り1割をあてはめ。
>
> (1)と(2)のどちらが適しているのでしょうか？
> ご教授ください。

選択した変数の妥当性を調べるのであれば，(1)の方法で，スロスバリデーションを行えばよいと思いますし，変数選択方法の妥当性を知りたいのであれば，(2)の方法を用いればよいと思います。要は何をしたいかによって異なります。

　　　　　[このページのトップへ]

9581.　Re^2: 回帰モデルと変数選択　ビギナー　　2006/03/06 (月) 18:51

> 選択した変数の妥当性を調べるのであれば，(1)の方法で，スロスバリデーションを行えばよいと思いますし，変数選択方法の妥当性を知りたいのであれば，(2)の方法を用いればよいと思います。要は何をしたいかによって異なります。

どうもありがとうございます。
それでは，(1)と(2)を行うことで回帰モデル（変数選択も含めた方法論）の妥当性を調べたことになるのでしょうか？
それとも回帰モデル（変数選択も含めた方法論）の妥当性を調べる別の方法があるのでしょうか？

　　　　　[このページのトップへ]

9594.　Re^3: 回帰モデルと変数選択　医薬統計家　　2006/03/07 (火) 09:28

> > 選択した変数の妥当性を調べるのであれば，(1)の方法で，スロスバリデーションを行えばよいと思いますし，変数選択方法の妥当性を知りたいのであれば，(2)の方法を用いればよいと思います。要は何をしたいかによって異なります。
>
> どうもありがとうございます。
> それでは，(1)と(2)を行うことで回帰モデル（変数選択も含めた方法論）の妥当性を調べたことになるのでしょうか？

回帰モデルの妥当性とは，ある回帰モデルを作成し，そのモデルの精度を見ることでしょうか？そうであれば，(1)だけで十分だと思います。

(2)の方は，反応変数（別のサンプル）が追加されたときのモデルの妥当性を見るものだと思います。

> それとも回帰モデル（変数選択も含めた方法論）の妥当性を調べる別の方法があるのでしょうか？

　　　　　[このページのトップへ]

9583.　Re^3: 回帰モデルと変数選択　ごう　　2006/03/06 (月) 21:44

他にも　ブートストラップという方法があると思います。
私は下のpdfを読んで感動したクチです。Rでの方法ですが，すべてやり方が書いてあるのではじめてでもできました。

http://www.is.titech.ac.jp/~shimo/class/dk2005/san08.pdf

　　　　　[このページのトップへ]

9593.　Re^4: 回帰モデルと変数選択　ビギナー　　2006/03/07 (火) 09:19

どうもありがとうございます。
これのロジステック回帰バージョンがあればいいのですが。。。

　　　　　[このページのトップへ]