「統計学関連なんでもあり」の過去ログ--- 041

No.05575　NNの学習に局所最適化が用いられるのはなぜですか？　　【Hyman】　2008/01/28(Mon) 23:44

お世話になっております。

階層型ニューラルネットワークにおける学習とは，評価関数（例えば，教師データを予測した場合の平均2乗誤差＋正則化項）を小さくするよう，各ニューロンの重み・バイアスを変更する過程だと思います。

その，評価関数を小さくする際に，最急降下法や準ニュートン法などの「局所」最適化アルゴリズムが用いられるのはなぜでしょうか？

逆に言えば，焼きなまし法や遺伝的アルゴリズムなどの「大域的」最適化アルゴリズムを用いないのはなぜでしょうか？

本における解説では，「評価関数を最小とするパラメータが存在しないこともあるから，最急降下法を用いる」と書いてあったのですが，理解できませんでした。個人的には，十分な計算時間がとれる場合には，大域的最適化アルゴリズムを用いたほうが，評価関数を小さくできるのではないかと思っております。

コメントなどをいただければ幸いです。

No.05576　Re: NNの学習に局所最適化が用いられるのはなぜですか？　　【青木繁伸】　2008/01/29(Tue) 08:19

それぞれの長所・短所を理解の上，実際のデータの条件・計算環境により（初期値を探索する段階と，それを用いて局所解を探索する段階などのように）使い分ければよいだけの問題だと思います。

No.05581　Re: NNの学習に局所最適化が用いられるのはなぜですか？　　【Hyman】　2008/01/29(Tue) 15:01

ご回答いただきありがとうございます。
大域的最適化アルゴリズムを用いてはいけない，という何らかの理由があるのかと心配していたのですが，そのようなわけではないのですね。
大変参考になりました。