「統計学関連なんでもあり」の過去ログ--- 039

No.01765　非線形回帰の信頼性評価について　　【黒木】　2006/12/05(Tue) 14:50

非線形最小自乗回帰フィット(Non-Linear Square Fit，NLSF)した結果求められたパラメータ(回帰係数)の検定のやり方をご教示いただけないでしょうか？

線形回帰の場合，回帰の信頼性は次のように調べられるようです。
(1)　決定係数(寄与率)でラフに当てはまりの程度を見る。場合によっては，決定係数の検定を行う。
(2)　分散分析表で回帰と残差の分散比F0=Vr/Veを求め，F検定する。
(3)　回帰係数/回帰係数の標準誤差の推定値=t0を求め，t検定する。

一方，非線形回帰の場合は，ローカルミニマムの問題はさておき，線形回帰の場合と比較すれば，私の調べた限りでは
(1')　残差平方和が所定の閾値より小さいとき，ある程度当てはまっているとみなす。場合によっては，決定係数でもラフに評価される。
(2')　対応なし
(3')　対応なし
となります。つまり，どうも線形回帰の手法は非線形回帰における回帰係数に傾きと言う概念が当てはまらない以上，使えないようなのです。複数のモデルのうちどれがよりよいモデルであるかを表すには，残差平方和を比べる以外にも，タイルのU，雨宮のPC基準，赤池の情報量規準AICなどを使って判断される場合もあるようですが，線形回帰のように，回帰自体が良好に行われているかどうかを判断する検定法を見つけることができません。

しかしながら，非線形回帰においてもquasi-Newton法やLevenberg-Marquardt法などを残差平方和の関数の最小化アルゴリズムとして用いれば，回帰係数に関して偏微分したヤコビ行列を使うので，回帰係数の標準誤差の推定値を求めることができるようです。つまりは，決定された回帰係数があり，それに対する標準誤差という統計量が求まる以上，非線形回帰でも，何らかの方法で回帰係数の検定はできそうな気がするのです。
過去ログにも，
http://aoki2.si.gunma-u.ac.jp/lecture/mb-arc/arc005/279.html
にできるということが書いてあるように思えたのですが，詳細が分かりませんでした。
お知恵をお貸し頂けますよう，どうぞよろしくお願いいたします。

No.01767　Re: 非線形回帰の信頼性評価について　　【青木繁伸】　2006/12/05(Tue) 15:18

(3)は，できますよ。
R ですと，以下のようになります。
パラメータの推定値とその標準誤差が求められ，t値が計算され，P値を求めていますね。
> x <- 1:10
> y <- c(5, 8, 14, 23, 31, 38, 44, 47, 48, 49)
> ans <- nls(y ~ a/(1+b*exp(-c*x)), start=list(a=40, b=10, c=1))
> summary(ans)

Formula: y ~ a/(1 + b * exp(-c * x))

Parameters:
  Estimate Std. Error t value Pr(>|t|)    
a 50.01290    0.37884  132.02 3.77e-13 ***
b 20.60653    1.31552   15.66 1.05e-06 ***
c  0.70537    0.01709   41.28 1.28e-09 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 0.4591 on 7 degrees of freedom

No.01778　Re: 非線形回帰の信頼性評価について　　【ひの】　2006/12/05(Tue) 23:46

　まず，線形回帰の時の有意性検定が何を意味しているのか考えて見ましょう。これはデータが直線関係にあると仮定したときにその傾きが0より大きい（あるいは小さい）といえるかどうかを調べているのです。注意してほしいのは，この検定で有意であるという結果が出ても，「このデータは直線関係にある」というモデルが妥当であるという結論にはならないし，また，データが完全な直線関係にあっても傾きが0であれば「有意でない」という結論になります。
　非線形の問題についても同様に考えれば，あるパラメーターについて「そのパラーメータが0である」という帰無仮説を検定すればよいということになるでしょう。パラメータの信頼区間を求め，その信頼区間が0を含むなら「帰無仮説は否定できない」，0を含まないなら「帰無仮説は棄却される，つまり有意である」と結論してよいでしょう。ただし，有意になってもならなくても，それはモデルが妥当であるかどうかを議論する根拠にはならないことに注意しましょう。言えることはあくまでも，「このモデルに当てはまるとすればこのパラメータの値は0ではない」ということだけです。

No.01788　Re: 非線形回帰の信頼性評価について　　【黒木】　2006/12/06(Wed) 18:09

青木様，ひの様
ご回答を頂きまして，誠にありがとうございます。
お二人の意見を総合すれば，「(3)の回帰係数の検定」に関して，考え方としては，線形回帰の場合と同様に扱えると考えてよいようですね。もちろん，丁寧なご指摘を頂いておりますように，帰無仮説は何であるのか，また検定の結果言えることと言えないことは何であるのかに，十二分に注意する必要がありますが。また，「(2)の回帰の分散分析」についても，同様の立場に立てば，使ってもよいということになるかと思います。
なお，この件に関する解答は，具体的には
http://aoki2.si.gunma-u.ac.jp/lecture/Regression/mreg/mreg3.html
http://aoki2.si.gunma-u.ac.jp/lecture/Regression/mreg/mreg4.html
のようになるようですね。
ただ，仮説を"回帰係数(パラメータ)の値が0であるかどうか"としか置けないところが難点です。多くの場合，非線形回帰を行う際には想定される理論的なモデル式があるので，パラメータの値が0かどうかということを検定したところで，余り意味がありません。ひの様の仰られる通りの結論が得られるのみです。と言うわけで，私といたしましては，パラメータの値とその標準誤差の推定値を使って，"どれくらい確からしくパラメータの同定が行われたか"，を検討できないかと考えておりました。これが可能であるならば，残差平方和だけでは区別しにくいローカルミニマムの問題の解決や，同定したいパラメータ数に対して十分な数の実測値のプロットがあるかどうかなど，非線形回帰の信頼性を実質的に評価するのに使えるはずなのではなかろうか？と考えた次第です。
例えばですが，標準誤差の推定値／パラメータの値＜10％なら，それなりにうまく行っているとみなせるなどが言えるような事にならないのだろうかということです。
このような目的に使うような統計学上の知見をご教示願えませんでしょうか？

No.01797　Re: 非線形回帰の信頼性評価について　　【黒木】　2006/12/07(Thu) 09:34

用語の誤用について，訂正いたします。
記事番号No.1765で，F検定やt検定と言う言葉を使ってしまいましたが，母分散や母平均の検定との混乱を招く表現でした。それぞれ，回帰と残差の平均平方和の比が自由度(p, n-p-1)のF分布に従うこと，および回帰係数とその標準誤差の比が自由度n-p-1のt分布に従うことを利用した検定である，と言う表現が適切でした。この件については，青木先生がHP上でことある毎に指摘されておりました。大変申し訳ございませんでした。

それでは，引き続き記事番号No.1788についての皆様のご見解をお待ち申し上げます。

No.01808　Re: 非線形回帰の信頼性評価について　　【黒木】　2006/12/08(Fri) 10:18

皆様からのお返事をお待ちしている間，さらに考えてみました。
パラメータの信頼区間の最大値および最小値をモデル式に与えて描いたグラフが，実測値のプロットをどれだけ狭い範囲で挟むように描かれるか，またそのグラフの形状は同じ傾向となっているか(平行移動のような)？などが，判断材料の一つになりそうですね。非線形の場合，パラメータの標準誤差が大きいと，グラフの形そのものが大きく変わってしまうことが予想されるからです。とすれば，パラメータの信頼区間の最大値または最小値をモデル式に与えた時に計算される残差平方和が，指標になりそうです。標準誤差が小さいほど，残差平方和が小さくなるからです。
しかしながら，残差平方和がどれくらい小さければよいとするかは，非線形回帰ではユーザーがこの程度以下ならばと恣意的に決めるものですので，これも定量的な区切りをつけられるものではないということになります。結局のところ，標準誤差の推定値がパラメータの値に対して小さいほどいいはずなのは間違いないと思いますが，何％以下ならOKと言う風に区切りはつけられないようですね。
というわけで，非線形回帰はパラメータの最適値が求まっていることを客観的に評価する手段はなく，様々なことに注意を払い最大限の努力を持って試行錯誤的に決めていくしか無いように感じました。
この感覚は，正しい認識でしょうか？コメントを頂戴できますよう，よろしくお願い申し上げます。

No.01862　Re: 非線形回帰の信頼性評価について　　【黒木】　2006/12/12(Tue) 10:18

非線形回帰の信頼性評価という観点では，このスレッドは統計学という範疇からは外れてしまうようですね。ともあれ，非常に有益な議論をさせて頂きましたことを心より感謝申し上げます。願わくば，お二人のような方々の手により，実質的な統計の利用法に関する情報が，公表物の形になることを望む次第であります。本当にありがとうございました。