「統計学関連なんでもあり」の過去ログ---028

★ ロジスティック回帰分析の係数の推定 ★

2365.　ロジスティック回帰分析の係数の推定　uchan　2004/02/16 (月) 15:01
└2367.　Re: ロジスティック回帰分析の係数の推定　HC　2004/02/16 (月) 16:21
　└2370.　Re^2: ロジスティック回帰分析の係数の推定　uchan　2004/02/16 (月) 22:10
　　└2371.　Re^3: ロジスティック回帰分析の係数の推定　名無しさん　2004/02/16 (月) 22:59
　　　└2376.　Re^4: ロジスティック回帰分析の係数の推定　uchan　2004/02/17 (火) 14:21

2365.　ロジスティック回帰分析の係数の推定　uchan　　2004/02/16 (月) 15:01

いつも参考にさせていただいております
ロジスティック回帰を勉強中に疑問に思った事がありますので質問させてください

ロジスティック回帰分析の係数の推定には最尤法を行うのが一般的なようですが対数オッズが独立変数の線型結合式で表すことが出来るので素人的に考えれば最小二乗法が適用できそうな気がします。

最小二乗法なら最尤法のように数値演算でなく行列演算で求められるのでスマートな気がしますがあまり使われていないところを見ると何か問題があるのでしょうか？

もし使い分けが必要ならパラメータを求める手段として他にも判別関数を使う方法などがあるようですが,3つをどのように使い分ければいいのでしょうか?

　　　　　[このページのトップへ]

2367.　Re: ロジスティック回帰分析の係数の推定　HC　　2004/02/16 (月) 16:21

> ロジスティック回帰分析の係数の推定には最尤法を行うのが一般的なようですが対数オッズが独立変数の線型結合式で表すことが出来るので素人的に考えれば最小二乗法が適用できそうな気がします。

重み付き最小二乗で解く方法もあります．

> 最小二乗法なら最尤法のように数値演算でなく行列演算で求められるのでスマートな気がしますがあまり使われていないところを見ると何か問題があるのでしょうか？

重み付き最小二乗法でも反復計算です．

　　　　　[このページのトップへ]

2370.　Re^2: ロジスティック回帰分析の係数の推定　uchan　　2004/02/16 (月) 22:10

> 重み付き最小二乗で解く方法もあります．
> 重み付き最小二乗法でも反復計算です．
HCさん早速レスありがとうございます
重み付き最小二乗法調べてみました

データの内容によって使い分けるみたいですね
応答誤差が正規分布しないときや,一定の分散を持たないときなどにあわせて最小二乗法の改良版があることがわかりました

一方で最尤法は原始的かつ最も強力な推定法であるとの記述も見かけたのですが,ならなぜそれ以外の推定法が使われているのかがわからなかったのです

最尤法が係数推定に適しているのはロジスティック回帰に限られるのでしょうか?

　　　　　[このページのトップへ]

2371.　Re^3: ロジスティック回帰分析の係数の推定　名無しさん　　2004/02/16 (月) 22:59

> 最尤法が係数推定に適しているのはロジスティック回帰に限られるのでしょうか?

最小二乗法というのは，最尤解を得る一つの方法では？

昔は，コンピュータもなかったり，計算費用もかかったので，容易な方法として各種の方法が開発された。対数変換して直線回帰に持っていくなどなど。

たとえば，因子分析だって，最尤解がもっともよいと言われたりしているのでは？

　　　　　[このページのトップへ]

2376.　Re^4: ロジスティック回帰分析の係数の推定　uchan　　2004/02/17 (火) 14:21

> 最小二乗法というのは，最尤解を得る一つの方法では？
レスありがとうございます

自分なりに整理してみますと
最尤解を求めるにはいろいろな方法があって
最尤法，最小二乗法，重みつき最小二乗法，ロバスト最小二乗法...
それぞれの方法から最尤解が計算できるということでしょうか？

残差が正規分布している場合のみいわゆる最尤法で求めた解と一致すると何かで読んだ記憶があります（つまりそれ以外のときは一致しないということ？）

最も尤もらしい解が複数あるのが理解に苦しむところです（素人的感想ですスミマセン )

> 昔は，コンピュータもなかったり，計算費用もかかったので，容易な方法として各種の方法が開発された。対数変換して直線回帰に持っていくなどなど。

これはそうなんでしょうね　言われてみて同感です
電卓もコンピュータもないじょうたいでは手計算でできるよう処理法法を工夫するしかないのもうなずけます
数値計算は解析の本で復習してますがすべての曲線に対して収束するようなアルゴリズムはなさそうですね (^^;

　　　　　[このページのトップへ]