「統計学関連なんでもあり」の過去ログ---031

★ 多次元同時確率分布の変数変換 ★

5218.　多次元同時確率分布の変数変換　鈴木　2004/12/13 (月) 01:05
└5222.　Re: 多次元同時確率分布の変数変換　たい　2004/12/13 (月) 10:07
　└5226.　Re^2: 多次元同時確率分布の変数変換　鈴木　2004/12/13 (月) 12:51
　　└5227.　Re^3: 多次元同時確率分布の変数変換　鈴木　2004/12/13 (月) 12:51

5218.　多次元同時確率分布の変数変換　鈴木　　2004/12/13 (月) 01:05

統計のことで分からないことがあり，ネットで検索するとよくこのサイトにくるのですが，充実ぶりに毎回感心させられます．
私は大学4年生で卒論を書いているのですが，以下のような最尤推定をするには，どのようなプログラムの手順でやればいいのでしょうか？
少しでもアドバイスください．

まず4つの外生変数，4つの撹乱項からなる4本の式があります．
それらの式を同時推定して，含まれるパラメタを最尤推定したいのです．
方法としては，その4本の式を撹乱項について解いて，4つの撹乱項にしかるべき分布形を与えて，それらの間の相関を考慮した同時確率分布に対して，撹乱項について解いた4本の式を用いて変数変換をして尤度関数をつくり，それを用いて推定したいのです．
理論的にはこれで出来るはずだと思うのですが，いかんせんこれまでまともにGAUSS，TSP等の統計ソフトのプログラミングをしたことがないものでして，フローチャートすらさっぱり想像できません．

4つの撹乱項としては，一つは正規分布，3つは正のみを取る分布（対数正規分布など）を想定しています．

そもそも現在の計算技術でこのようなことが出来るかも知らないのですが，初めは2変数の変数変換など，出来ることからやっていきたいと思っています．
ほんの些細な情報でもかまいませんので，アドバイスお願いします
参考になるウェブページ，文献等なんでもかまいません．ちょっとしたことでも構いませんのでお願いします．

　　　　　[このページのトップへ]

5222.　Re: 多次元同時確率分布の変数変換　たい　　2004/12/13 (月) 10:07

4つの「撹乱項」のうち，3つが正の値のみをとる，という意味がよくわからないのですが，仰るとおりに正規分布×1，対数正規分布×3だと，パラメータが14個になると思います。質問が具体的でないので，以下，一般的な回答です。
(1)尤度を明示的に計算することができて，その1階条件の式も明示的にかけるのなら，14本の連立方程式を解けばいいはずです。
(2)尤度の形が明示的にかけるが，1階条件の式を明示的にかけないなら，14個のパラメータからなる（尤度を最大化する）最適化問題を解けばいいでしょう。
(3)尤度の形が明示的にかけないなら，シミュレーションにより尤度（simulated maximum likelihood）を計算して，それを最適化すればよいと思います。

いずれにしても，(2)，(3)の場合は，パラメータが14個もあるので，GAUSSのoptimization toolboxのコマンドを使うにしても，最適化問題を解くのは，かなり大変だと思います。また，モデルが識別可能かどうかもチェックする必要があるでしょう。
(2)の場合，尤度の一階条件を求められなくても，EMアルゴリズムを使えば，一階条件を明示的に求められることがあるので，最適化問題を解く必要がないかもしれません。

　　　　　[このページのトップへ]

5226.　Re^2: 多次元同時確率分布の変数変換　鈴木　　2004/12/13 (月) 12:51

レスポンス有り難うございます．

>「撹乱項」の意味について．

これに関しましては，一つは正規分布のように確率変数が実数全体を取るもので，残りの三つは対数正規分布のように正の確率変数のみを取る分布です．それらの同時分布から尤度関数を作りたいのです．

>パラメータが14個

14 個と言いますと，分散4個，共分散4C2＝6個，4本の同時推定式を線形かつ切片なしとしてそこで4個，つまり4+6+4＝14個と言うことですか？切片を入れると15になりますが，それはいいとして問題は，4本のうち三本が非線形で，4本の方程式のなかでパラメタが5個出来てしまいます．つまりトータルで15個のパラメタとなります．問題は4本のうち3本が結構複雑な式なんです．

それよりも問題なのが，GAUSSなりTSPなりに正規分布と一つと対数正規分布3つの同時確率密度関数がデフォルトで入ってないことだと思っています．これはいかにして定義すればいいんでしょうか・・・？

> (1)尤度を明示的に計算することができて，その1階条件の式も明示的にかけるのなら，14本の連立方程式を解けばいいはずです。

14本の連立方程式を解くと言う意味はわかるのですが，いかんせん同時分布と変数変換の式が複雑で尤度関数がまず定義できないことで困っています

> (2)尤度の形が明示的にかけるが，1階条件の式を明示的にかけないなら，14個のパラメータからなる（尤度を最大化する）最適化問題を解けばいいでしょう。

これも意味は理解できるのですがいかんせん尤度関数が・・・・

> (3)尤度の形が明示的にかけないなら，シミュレーションにより尤度（simulated maximum likelihood）を計算して，それを最適化すればよいと思います。

尤度の形が書けないので，このシミュレーションってのをやることになりそうなんですが，いまいちどのようにやるかイメージできないので，詳しいサイトなり文献を教えていただけると幸いです．

>いずれにしても，(2)，(3)の場合は，パラメータが14個もあるので，GAUSSのoptimization toolboxのコマンドを使うにしても，最適化問題を解くのは，かなり大変だと思います。

確かに同様のことを指導教官から言われるのですが，うまい最適化のようなものがありましたら些細のことでも構いませんので教えていただけると幸いです

　　　　　[このページのトップへ]

5227.　Re^3: 多次元同時確率分布の変数変換　鈴木　　2004/12/13 (月) 12:51

>また，モデルが識別可能かどうかもチェックする必要があるでしょう。

すいません．重要なことをいい忘れました．識別可能性に関してもチェックしたんですが，識別されるために同時方程式の5つのパラメタのうち2つに条件を付けて推定しなくてはいけないことになりまして，具体的にはA+B＝1という条件です．つまり最後に尤度最大化するときに条件付最大化（おそらくラグランジュ乗数法）を用いなくてはいけないのです．

あわせて教えていただけると嬉しいのですが，今回の卒論で識別可能性のことを少し勉強したのですが，線形式の場合の一般的な説明は結構いろいろな教科書に出てるんですが，非線形の推定式になった場合どのように識別可能性をチェックするのか分からないでいます．統一的なやり方のようなものがありましたら教えてほしいです．

今回の場合は，既存研究に則して撹乱項がない時，モデルどおりデータが発生したらそのデータからパラメタが再現できるかと言う観点でチェックしたんですが，結果的にパラメタに条件が一つ足りず，それを入れた条件付の推定をする必要が出てきたと言う流れです．

> (2)の場合，尤度の一階条件を求められなくても，EMアルゴリズムを使えば，一階条件を明示的に求められることがあるので，最適化問題を解く必要がないかもしれません。

EMアルゴリズムについてちょっと調べてみたいと思います．

●一応以上のような推定を考えているのですが，まずネックは同時確率密度関数をどのように作るかというところです．
引き続き何か情報がありましたらお願いします．

ご親切な返答有り難うございました．

　　　　　[このページのトップへ]