「統計学関連なんでもあり」の過去ログ--- 041

No.06078　ロジスティック回帰の対数尤度最大化について　　【pop】　2008/03/07(Fri) 12:58

　はじめて質問させていただきます。よろしくお願いいたします。当方，社会科学を独習している者です。
　さて，当方，重回帰分析の大まかな理解を頼りにロジスティック回帰分析の独習を開始しました。まず，朝倉書店の『ロジスティック回帰分析』という本を見たのですが歯が立たず，東京図書の『すぐ読める生存時間解析』のなかの関連箇所を読みました。また，他にも，有斐閣の『調査データ分析の基礎』と，現代数学社の『SPSSによる統計データ解析』の該当章も読みました。
　目下，ようやく，やっていることの大まかなイメージがつかめてきたのですが，どうしてもわからないのが，対数尤度・最大化の内容です。
　パラメータ未決のまま，回帰式に各回答者の測定値を入れて，各回答者の生起確率を予測し，その総積を最大化する，ということは一応わかったのですが，重回帰分析で言えば「最小二乗法によって各回答者ごとに予測値と実測値が近づく」といった部分が，対数尤度の最大化によって，どうなることになるのか，うまくイメージできません。おそらく，総積の最大化というアグリゲートレベルと，実測値－予測値という回答者レベルの話がうまくつながっていないのだと思われます。
　この部分，どのような勉強をしたらいいでしょうか？　アドバイス，よろしくお願いいたします。

No.06080　Re: ロジスティック回帰の対数尤度最大化について　　【青木繁伸】　2008/03/07(Fri) 14:01

最尤法による母比率の推定や，平均値と分散の推定が一番簡単な場合でしょう。
http://aoki2.si.gunma-u.ac.jp/lecture/Suitei/saiyuuhou.html
　　http://aoki2.si.gunma-u.ac.jp/lecture/Suitei/kaitou-1.html
　　http://aoki2.si.gunma-u.ac.jp/lecture/Suitei/kaitou-2.html

No.06083　Re: ロジスティック回帰の対数尤度最大化について　　【pop】　2008/03/09(Sun) 12:38

　さっそくのお返事，ありがとうございます。また，改行の件，当方の不注意で申し訳ありませんでした。以後，気をつけます。
　さて，ご教示いただいたページで，式を確認いたしました。対数尤度の最大化の件，当方も一応理解できているようでした。で，その上で，当方の質問をより具体的に表現すると，次のようになるかと思います。

　例えば，目的変数yが2値(0,1)で，説明変数が2つ(x1,x2)の場合，対数尤度を最大化すると，なぜ，各回答者ごとに，目的変数（0,1）と，予測値y'＝1/{1＋e^-(a1x1+a2x2+b)}が近づくようなパラメータa1,a2,bが得られるのでしょうか？

パラメータa1,a2,bを算出する過程について勉強したいのですが，どの教科書もそこはブラックボックスになっているようです（ニュートン法については書いてあるのですが，なぜそれで，各回答者のyとy'が近づくのかがイメージできません）。
　なお，今気付いたのですが，当方，重回帰分析でも，なぜ最小二乗法で目的変数と予測値が近づくのか，わかっていませんでした。
　長くなってしまい，大変恐縮ですが，勉強法など，ご教示いただければ，大変ありがたく存じます。よろしくお願いいたします。

No.06085　Re: ロジスティック回帰の対数尤度最大化について　　【青木繁伸】　2008/03/09(Sun) 13:19

f(a) = α*a^2+β*a+γ，α<0　で，f(a) が最大になるときの a の値をどうやって求めるか分かりますか？
aについて微分して，それが0になるときの値を求めますよね。
これと，あるパラメータを含む対数尤度の式があって，それを最大にするパラメータの値を求めるのと基本的に同じですよ。微分の変わりに偏微分が出てくるのは，対数尤度の式に複数のパラメータが含まれるときに，どのパラメータについて微分するかというのが偏微分ですよ。

f(x) = a*x^2+b*x+c = 0 を，ニュートン法によって解くやり方は分かりますか？
多変量の場合でも，基本はそれと同じですよ。

最小二乗法も，あるパラメータについて見ればそれが二次式になっているので，最初に挙げたように，放物線の頂点を与えるパラメータ値を求めるのと同じです。
http://aoki2.si.gunma-u.ac.jp/lecture/Regression/mreg/mreg1.html

No.06086　Re: ロジスティック回帰の対数尤度最大化について　　【pop】　2008/03/09(Sun) 14:34

　重回帰分析の説明，とてもクリアで，わかりやすいですね。ありがとうございます。当方，自分の理解内容を再点検・再確認できました。
　で，その作業を経て思ったのですが，重回帰分析の説明では，誤差の二乗＝ (y-y')の二乗，という部分が，「データに基づいた最適の予測値」という分析の意味を，イメージしやすくしていると思いました（まず1人の回答者について「誤差の二乗」を考え，それを全体で最小化する，というように，想像しやすいですよね）。
　これに対し，尤度の場合は，yが全体として（1,1,0,1,0～1）と人数分並び，総積である尤度を計算した段階で，最大化されるものが「全体としての現象の生起確率」としてイメージされ，個人レベルでの（y-y'）が出てこないように感じられます。また，尤度最大化の式を追う際には，接線（接平面）が求まればいいことはわかるのですが，それがどのような意味で（y-y'）を最小化していることになるのかが，うまくイメージできません。
　というか，当方，今回の質問で，そうした方向で理解したい，という自分の欲求に気がつきましたが，そもそも，そういう理解欲求自体が方向を誤ったものなのでしょうか？
　この点，ここでうかがった方がいいのかどうか，ためらわれましたが，私のような人間が，この掲示板を見て助かることもあるのではないかと考え，今一度，ご好意に甘え，書き込ませていただくことにしました（これで最後です）。よろしくお願いいたします。

No.06087　Re: ロジスティック回帰の対数尤度最大化について　　【青木繁伸】　2008/03/09(Sun) 15:13

基本原理の理解は，今まで誰も思いついていない新しい分析法や，今ある分析法のコンピュータプログラムを書くというときには必要でしょう。
また，そこまで行かなくても，結果の解釈をする際に知っておくと良いことというのもあるでしょう（たとえば，因子分析について何にも知らなくてコンピュータプログラムを使ってデータ解析をしても，結果を解釈できないですよね）。
まあ，そんなところで，適当なところで折り合いを付けておくというのも良いかも。また，あることを理解するにはいろいろたくさんの基礎的知識が必要でしょうが，今の状態で理解が難しいことも，基礎的知識を付けるという努力を続けていれば，ある日突然今まで分からなかったことが分かるようになったことに気づくと言うこともあります。

No.06094　Re: ロジスティック回帰の対数尤度最大化について　　【pop】　2008/03/10(Mon) 02:23

　そうですね。私自身も「ある日突然」を体験したことがありますので，今の状態のまま，実際にデータを分析しながら，いろいろ考えてみたいと思います。ありがとうございました。
　それにしても，この掲示板は，いいですね。管理しておられる方に，心より敬意を表します。書き込む人も，知的好奇心に満ちているし，回答されている方も，学問への熱意あふれる方であるように感じます。自分の若い頃に，こんな掲示板があったら，と何度も思いました（笑）。今の若い方々は幸せですね。
　これからも，よろしくお願いいたします。以上，御礼方々。