「統計学関連なんでもあり」の過去ログ---033

★ 最小二乗法―修正Marquardt法 ★

6744.　最小二乗法―修正Marquardt法　うし　2005/05/21 (土) 17:59
├6760.　Re: 最小二乗法―修正Marquardt法　うし　2005/05/23 (月) 09:13
├6757.　Re: 最小二乗法―修正Marquardt法　D3 PKPD　2005/05/22 (日) 22:35
│└6758.　Re^2: 最小二乗法―修正Marquardt法　ひの　2005/05/22 (日) 22:57
├6748.　Re: 最小二乗法―修正Marquardt法　ひの　2005/05/22 (日) 00:35
└6746.　Re: 最小二乗法―修正Marquardt法　青木繁伸　2005/05/21 (土) 19:27

6744.　最小二乗法―修正Marquardt法　うし　　2005/05/21 (土) 17:59

最小二乗法のFletcher提案したmodified　Marquardt法のアルゴリズムがよくわかりませんが，わかる方がいらっしゃいましたら，教えてください。また，R.Fletcher：A modified Marquardt Subroutine for Nonlinear Least Squares (1971)という論文はどこから入手できますか。情報がありましたら，教えてください。Emailならば，ndhui@f7.ems.okayama- u.ac.jpまで。よろしくお願いいたします。

　　　　　[このページのトップへ]

6760.　Re: 最小二乗法―修正Marquardt法　うし　　2005/05/23 (月) 09:13

皆様ご親切に説明してくださって，有難うございました。
手元にはSALSによる最小二乗法の本がありますけど，
r=ΔS/ΔS_bar, rの値によって，修正項lambdaを調節すると言うことですよね。rの絶対値が大きな場合(1より大きい，実は，100も超えました)，そのルールに従って，lambdaを調節しても大丈夫でしょうか？

　　　　　[このページのトップへ]

6757.　Re: 最小二乗法―修正Marquardt法　D3 PKPD　　2005/05/22 (日) 22:35

東京大学出版会のSALSによる最小二乗法という本にアルゴリズムが載っていて，日本語でわかりやすいのはこれかと思います。数式なしでは説明にならない可能性もありますし，掲示板でアルゴリズムを充分説明することは所詮無理ですが，Marquardt法でFletcherのものは，モデル式をパラメーターで偏微分，ただし一次近似したものを要素にもつJacobian行列の転値行列×重み行列×Jacobian行列に，収束安定化のために加える対角行列を修正項と言いますがそれに工夫があります。反復計算中の残差平方和の低下程度が線形モデルと仮定したときの75％以上であれば修正項を1／2，25％以下であれば5倍するという方法です。Levenberg Marquardt法では修正項がlambdaと呼ばれ，これは残差平方和が上昇すれば修正項を10倍，低下すれば1／10にします。こちらは Numerical Recipis in Cに載っています。残差平方和の変化によってパラメーター変化幅に工夫を加えるのはDamping Gauss Newton法といい，変化幅を倍半分します。SASのMarquardt法はFletcherのものです。他にSASでは最急降下法（わかりやすいが収束性が悪くあまり使わないですが）も使えます。私は薬物動態の領域で，自分で計算エンジンをコーディングすることはありませんが，プログラムを「解読」するのはけっこう勉強にはなりますよ。ただ，さすがにSASやNONMEMといったソフトの中身までは追えません。1人非常に詳しそうな方が，Niftyでブログを公開してましたので，丁寧に質問してみるといいかもしれません。

　　　　　[このページのトップへ]

6758.　Re^2: 最小二乗法―修正Marquardt法　ひの　　2005/05/22 (日) 22:57

> 東京大学出版会のSALSによる最小二乗法という本にアルゴリズムが載っていて，日本語でわかりやすいのはこれかと思います。

そうそう，この本。正確な書名を書いておきますね。20年以上前の本ですが，幸いまだ入手可能なようです。

最小二乗法による実験データ解析　プログラムSALS
UP応用数学選書　7
中川徹／著　小柳義夫／著東京大学出版会
1982年5月

　　　　　[このページのトップへ]

6748.　Re: 最小二乗法―修正Marquardt法　ひの　　2005/05/22 (日) 00:35

> 最小二乗法のFletcher提案したmodified　Marquardt法のアルゴリズムがよくわかりませんが，わかる方がいらっしゃいましたら，教えてください。

　原論文に当たらなくても，日本語の書籍でも解説されているものはあります。プログラムを書くのが目的なら，出来合いの数値演算ライブラリを活用するという手もあります。私も一時期調べて自分で書こうとしたのですがメゲてしまって，フリーの数値演算ライブラリを使っています。とっても楽チンです(^^;)。

　　　　　[このページのトップへ]

6746.　Re: 最小二乗法―修正Marquardt法　青木繁伸　　2005/05/21 (土) 19:27

大学ならば，図書館で相談すれば取り寄せ方を教えてくれる（実際に取り寄せてもらえる）と思います。

　　　　　[このページのトップへ]