「統計学関連なんでもあり」の過去ログ---006

★ 2次と3次の回帰係数 ★

　93　2次と3次の回帰係数　　masa　　2000/01/27 (木) 19:48
　　94　Re: 2次と3次の回帰係数　　マンボウ　　2000/01/27 (木) 20:26
　　　99　Re^2: 2次と3次の回帰係数　　masa　　2000/01/28 (金) 01:07
　　　　120　Re^3: 2次と3次の回帰係数　　中原　　2000/01/29 (土) 18:12
　　　　　121　Re^4: 2次と3次の回帰係数　　マンボウ　　2000/01/29 (土) 20:58
　　　　103　Re^3: 2次と3次の回帰係数　　青木繁伸　　2000/01/28 (金) 11:58
　　　　　104　Re^4: 2次と3次の回帰係数　　青木繁伸　　2000/01/28 (金) 12:01

93.　2次と3次の回帰係数　　masa　　2000/01/27 (木) 19:48

　自分で式を定義して，それの残差を平方したものの最小値を求めることによって，係数が決まるのは知っていますが，どうも偏微分が解けません。よって，怠け者と思われるかもしれませんが，2次と3次の回帰係数の式を教えていただけないでしょうか。または，それが載っているHPなどがありましたら教えてください。よろしくお願いします。

　　　　　[このページのトップへ]

94.　Re: 2次と3次の回帰係数　　マンボウ　　2000/01/27 (木) 20:26

連立方程式を解くので，a=, b= などの式にすると面倒ですよね。

連立方程式の形式は規則的なので，独立変数が何個になっても恐れることはありません。連立方程式は正規方程式というもので，
http://aoki2.si.gunma-u.ac.jp/lecture/Regression/mreg/mreg1.html
にも出ていますよ。左辺の係数が独立変数間の変動共変動行列，右辺は独立変数と従属変数の間の共変動ベクトルです。

連立方程式をコンピュータで解くときには，掃き出し法や，逆行列を駆ける方法とかいろいろあります。もちろん，N元連立方程式を明示的に解いて，a=, b= という形式まで持ち込むこともできますが。

　　　　　[このページのトップへ]

99.　Re^2: 2次と3次の回帰係数　　masa　　2000/01/28 (金) 01:07

ええ，確かに直線回帰については，それほど苦労なくとけます。y=ax+b+εとおき，ε=y-ax-bの両辺を平方してこれが最小になるようにする。これはとけます。しかし，2次においてはa=z*sum_x2y1-sum_x2*sum_y1)/(z*sum_x4-sum_x2*sum_x2),b=sum_x1y1/sum_x2,c=(sum_x4*sum_y1-sum_x2*sum_x2y1)/(z*sum_x4-sum_x2*sum_x2)と解けましたが，どうも散布図にその点をプロットするとあいません。間違いをご指摘ください。
sum_x1 : xの和
sum_y1 : y1の和
sum_y2 : y2の和
sum_y3 : y3の和
sum_x2 : xの2乗の和
sum_x1y1 : x*y1の和
sum_x1y2 : x*y2の和
sum_x1y3 : x*y3の和
sum_x4 : xの4乗の和
sum_x2y1 : x^2*y1の和
sum_x2y2 : x^2*y2の和
sum_x2y3 : x^2*y3の和

　　　　　[このページのトップへ]

120.　Re^3: 2次と3次の回帰係数　　中原　　2000/01/29 (土) 18:12

スネデカー，コクラン
統計的方法
原書第6版
畑村又好，奥野忠一，津村善郎共訳
岩波書店

の，「第13章重回帰」という章に，独立変数が2個の場合，および，3個以上の場合について詳しく書いてありますね。

基本的には，正規方程式をたて，その解法を一般化してあるようですが。
正規方程式は実に機械的に組み立てることができる（多項式回帰の場合も，べき乗項を新たな変数と考えれば重回帰と同じようにできるから）。
連立方程式も，掃き出し法によって，定式化できる。

　　　　　[このページのトップへ]

121.　Re^4: 2次と3次の回帰係数　　マンボウ　　2000/01/29 (土) 20:58

数学的に代数的に解くのと，数値的に解くのと，
コンピュータで数値的に解くのを
わけて考えるが吉

　　　　　[このページのトップへ]

103.　Re^3: 2次と3次の回帰係数　　青木繁伸　　2000/01/28 (金) 11:58

z とか y1, y2 とか，いろいろ未定義の変数が多いので何処が間違えてるか指摘が難しいので，Mathematica を道具にしてやってみました。

まず，モデルの定義と，変数名の定義

y=a+b*x+cx^2 とする

n　データ個数
sy=Σy
sx=Σx
sx2=Σ(x^2)
sx3=Σ(x^3)
sx4=Σ(x^4)
sxy=Σ(x*y)
sx2y=Σ(x^2*y)

解は次の発言で

　　　　　[このページのトップへ]

104.　Re^4: 2次と3次の回帰係数　　青木繁伸　　2000/01/28 (金) 12:01

余計なカッコはあえて残しておきます。
一応はチェックしてみました。

a=-((sy)*(sx3)^2-(sy)*(sx2)*(sx4)
-(sx2)*(sx3)*(sxy)+(sx)*(sx4)*(sxy)
+(sx2)^2*(sx2y)-(sx)*(sx3)*(sx2y))/
(-(sx2)^3+2*(sx)*(sx2)*(sx3)
-(sx)^2*(sx4)-(sx3)^2*n+(sx2)*(sx4)*n)

b=-((sy)*(sx2)*(sx3)-(sy)*(sx)*(sx4)
-(sx2)^2*(sxy)+(sx)*(sx2)*(sx2y)
+(sx4)*(sxy)*n-(sx3)*(sx2y)*n)/
((sx2)^3-2*(sx)*(sx2)*(sx3)
+(sx)^2*(sx4)+(sx3)^2*n-(sx2)*(sx4)*n)

c=-(-(sy)*(sx2)^2+(sy)*(sx)*(sx3)+(sx)*(sx2)*(sxy)
-(sx)^2*(sx2y)-(sx3)*(sxy)*n+(sx2)*(sx2y)*n)/
((sx2)^3-2*(sx)*(sx2)*(sx3)
+(sx)^2*(sx4)+(sx3)^2*n-(sx2)*(sx4)*n)

　　　　　[このページのトップへ]