「統計学関連なんでもあり」の過去ログ---015

★ 最小二乗法の過程で残差二乗和の最小値を求める方法について ★

　399　最小二乗法の過程で残差二乗和の最小値を求める方法について　　勉強中です　　2001/10/16 (火) 20:33
　　401　Re: 最小二乗法の過程で残差二乗和の最小値を求める方法について　　青木繁伸　　2001/10/16 (火) 22:01

399.　最小二乗法の過程で残差二乗和の最小値を求める方法について　　勉強中です　　2001/10/16 (火) 20:33

基本のような質問で申し訳ありませんが教えて下さい。
最小二乗法とは，n個のサンプルの残差をfとして，その残差fの二乗和が最小となるようにしますよね?そこで以下のような式があるとします。

G=sigma（i=1からn）（yi-b0-b1Xi）^2 　（分かりにくくてスミマセン）

Gはb0とb1の関数であるわけですが，ここでこのGの最小値を求めるためにGをb0とb1で偏微分して「0」とおく・・・と参考書に書いてありますが，なぜこのような作業でGの最小値が求まるのでしょう??
b0，b1のそれぞれについて偏微分して「0」とおくことについての意味がよく分かりません。

私のイメージとしては，Gはb0，b1それぞれの2次関数だから，それらについて微分すると傾きが出て，傾きが「0」の時にその関数の最大値か最小値が求まるという事は何となく分かりますが，Gのそれが最大か最小かと言われると，どちらになるのでしょう?
非常に基本な事でしょうけど，どなたかどうか解説を宜しくお願いします。

　　　　　[このページのトップへ]

401.　Re: 最小二乗法の過程で残差二乗和の最小値を求める方法について　　青木繁伸　　2001/10/16 (火) 22:01

> という事は何となく分かりますが，Gのそれが最大か最小かと言われると，どちらになるのでしょう?

二乗和ですから，極値（今の段階では最小値か最大値かは問わない）から離れれば（どちら方向へ離れても），二乗和は大きくなります。よって，その極値は最小値なのでしょう。

パラメータが一つなら放物線の最小値を求めることをイメージする。
パラメータが二つなら，お椀型（パラボラアンテナ型）の最小値を求めることをイメージする。ある方向からみて最小値を与える値，それと直角方向から見て最小値を与える値を求める。
パラメータが3個以上なら，イメージできない X-P

　　　　　[このページのトップへ]