「統計学関連なんでもあり」の過去ログ---026

★ 重回帰モデルの説明変数について ★

1166.　重回帰モデルの説明変数について　ke　2003/11/28 (金) 22:50
└1169.　Re: 重回帰モデルの説明変数について　青木繁伸　2003/11/28 (金) 23:13
　└1170.　Re^2: 重回帰モデルの説明変数について　ke　2003/11/28 (金) 23:59

1166.　重回帰モデルの説明変数について　ke　　2003/11/28 (金) 22:50

ある工場の操業データをつかって重回帰モデルをつくろうとしています。
(最終目標は重回帰モデルによる推定値をソフトセンサーとして使うことにあります)

目的変数は，ほぼ正規分布に従うデータですが，説明変数(規準化済,ステップワイズによる変数選択済)の一部(11個の説明変数の中の4個)に大きな偏りがあります(0近辺のデータがほとんどで，正の方向に裾の長いデータです。対数変換をしても，ほとんど分布の形は変りませんでした)

最終目標がソフトセンサーとして重回帰モデルを使うことなので，推定精度さえ良ければ(実際良好な精度が得られており，自由度調整済重相関係数は0.86)各説明変数の係数の物理的な意味はあまり問題ではないのですが，上記の偏りのある説明変数の係数の全てが，これまでの経験で想定されている値よりも一桁ほど小さくなってしまうことが気になります。

そもそも，分布に偏りのある説明変数を使って重回帰モデルをつくること自体に問題があるのかもしれませんが，このような説明変数を重回帰モデルで使う場合に，得られた係数が小さくなることはよくあることなのでしょうか？あるいは，単に今回使用したデータに依存した結果とみるべきなのでしょうか？

また，今回説明しましたようなデータへの対処方法(例えば他のモデルの適用等)についてご教授よろしくお願いします。

[補足]
ソフトはRを使いました。
lm()をやってstepAIC()にて変数選択を実施しました。
pls()も試しましたが(データ数がかなり多い(数千)ためかと思われますが)，推定精度はlm()とほぼ同じでした。
plsでもっと精度が良くなれば，係数のことは気にしないつもりだったのですが・・・

　　　　　[このページのトップへ]

1169.　Re: 重回帰モデルの説明変数について　青木繁伸　　2003/11/28 (金) 23:13

> 説明変数(規準化済,ステップワイズによる変数選択済)

の，基準化済みというのがよくわかりません。前もって変数単位に標準化（平均値0，標準偏差1）したということですか？なぜそのようにしたのかよくわかりませんが。

> すが，上記の偏りのある説明変数の係数の全てが，これまでの経験で想定されている値よりも一桁ほど小さくなってしまうことが気になります。

大きな値を取る一部のデータのために平均値が持ち上げられている（分散も大きくなる）のがその原因でしょうか。
一つの独立変数を10倍して重回帰分析をして，もとのまま使ったときの重回帰分析と比較すると，偏回帰係数は1/10になりますね。
それと似たようなことが，分布がゆがんでいるために起こっているのでは？

問題となっている独立変数において，ある値より大きいデータとそうでないデータというような，何種類かの重回帰式を作るというのはどうでしょう？

　　　　　[このページのトップへ]

1170.　Re^2: 重回帰モデルの説明変数について　ke　　2003/11/28 (金) 23:59

早速の回答ありがとうございます。

> の，基準化済みというのがよくわかりません。前もって変数単位に標準化（平均値0，標準偏差1）したということですか？なぜそのようにしたのかよくわかりませんが。

ご指摘のとおり標準化したということです。説明変数間の大きさがかなり異なっていましたので，前処理をして回帰しました。

> 問題となっている独立変数において，ある値より大きいデータとそうでないデータというような，何種類かの重回帰式を作るというのはどうでしょう？

アドバイスありがとうございます。早速検討してみます。ただ，問題となる独立変数が4種類あり，重回帰式の数がかなり多くなってしまわないかということが気になりますが，トライします。それから，今回の質問ような問題が起こったときに，何種類かの重回帰式を作ることは，よく行われることなのでしょうか？

　　　　　[このページのトップへ]