「統計学関連なんでもあり」の過去ログ--- 039

No.01528　PLS 重みベクトルｗの求め方　　【ＮＮ】　2006/11/06(Mon) 13:44

PLS法を勉強している統計の初心者です。初めて投稿させて頂きます。
PLS法において重みベクトルwの求め方がどうしても分かりません。
Lagrangeの未定乗数法を用いて　Σyixik＝2Mwk　
（yi：目的変数成分　xik：説明変数成分　M：Lagrangeの未定乗数法における未定の定数　wk：重みベクトルの要素　Σ：i＝1～nまでの和）
を求めるところまでは分かるのですが，そこから
重みベクトルw＝XTy／｜XTy｜　（XT：説明変数行列の転置行列　y：目的変数ベクトル　｜XTy｜：XTyのノルム）
までがどうしてもたどり着けません，どのように求めているのでしょうか。
式がうまく表現できず見苦しい質問だとは思いますがどうぞ宜しくお願いします。

No.01532　Re: PLS 重みベクトルwの求め方　　【青木繁伸】　2006/11/06(Mon) 14:20

転置行列がわからないのですか，行列とベクトルの掛算がわからないのですか，ノルムがわからないのですか。全部ですか？

No.01536　Re: PLS 重みベクトルwの求め方　　【NN】　2006/11/06(Mon) 19:49

お返事ありがとうございます。
説明不足で申し訳ありませんでした。
転置行列，行列とベクトルの掛け算，及びノルムに関しては理解しているつもりです。
私の読んでいる本では
Σyixik＝2Mwk　から　重みベクトルw＝XTy／｜XTy｜　を以下のように求めています。
1．Σyixik＝2Mwkの両辺にwkをかけてkについて総和をとる。　
ΣΣyixikwk＝2MΣwk＾2（左辺一つ目のΣ：i＝1～nの総和　左辺二つ目のΣ；k＝1～dまでの総和　右辺Σ：k＝1～dまでの総和）　
2．｜w｜＝1であることを用いて（重みベクトルのノルムが1であることを用いて）
ΣΣyixik＝2MΣwk＾2＝2M
3．上の式の左辺は目的変数ベクトルyと潜在変数ベクトルtとの内積yTt（yT：目的変数ベクトルyの転置行列　t：潜在変数ベクトル）である。つまりyとtの共分散でありその値は2Mとなる。
4．よってyTt（yとtの共分散）が最大となる最適な重みベクトルwの要素wkは次式となる。　wk＝Σyixik／2M　（Σ：i＝1～nの総和）
5．重みベクトルwのノルムは1であるので重みベクトルwは次式となる。
重みベクトルw＝XTy／｜XTy｜

という風に求めています。
しかし私には(4)の過程，なぜyTtが最大となる最適な重みベクトルwの要素wkがwk＝Σyixik／2M　（Σ：i＝1～nの総和）となるのか分かりません。
また，過程(5)において，どのようにwのノルムが1であることを用いて重みベクトルw＝XTy／｜XTy｜を求めたのかがよく理解できておりません。未定数Mはどのように消えてしまったのでしょうか・・・
お忙しいとは思いますがアドバイスを頂けたらありがたいです。

No.01543　Re: PLS 重みベクトルwの求め方　　【kzkishi】　2006/11/07(Tue) 12:52

PLS法というものについて詳しくないので追加質問などがあると困ってしまいますが…。
Partial Least Squareでググってみたところ
http://www.miyagi-ct.ac.jp/gg/risuu/jishi/chemo/tsld057.htm
のようです（どこかの大学内に置いてあるサイトのようなので勝手にリンクを張って良いか一寸悩みましたが，まあアクセス制限もないようですので…）。
NNさんが誤読されているか，その本に誤植があるのでは（特に1．の2式目の左辺にwkがない辺り）。

No.01547　Re: PLS 重みベクトルwの求め方　　【NN】　2006/11/07(Tue) 16:43

わざわざ調べて頂いてありがとうございます。
教えて頂いたサイトを拝見しました。
ご指摘の通り1．2式目の左辺wkが足りないようですが，私の記述ミスだったようです・・・
申し訳ありませんでした・・・今後気をつけます。

4．式wk＝Σyixik／2M　は教えて頂いたサイト内では，1．式Σyixik＝2Mwkの両辺をwkで割り求めているようでした。私もそのように理解するようにし解決致しました。

5.式　重みベクトルw＝XTy／｜XTy｜の求め方は，サイトでは　2Mが｜yTt｜となることを用いているようです。
ただ，yTtはベクトルではなく，1つの数値（スカラー）となるのですが，スカラーの場合もノルムというのは定義されるものなのでしょうか？例えば｜5｜＝ 5としてもよいものなのでしょうか。このようにしてもいいのなら解決するのですが・・・再び質問で申し訳ないのですが・・・

No.01548　Re: PLS 重みベクトルwの求め方　　【kzkishi】　2006/11/07(Tue) 21:40

>スカラーの場合もノルムというのは定義されるものなのでしょうか？

線型代数ですね。
5×単位行列の行列式は5でしょう？
…と言って伝わるようなら質問されないでしょうね。
図書館で線型代数の入門書を読んで下さい。

No.01550　Re: PLS 重みベクトルwの求め方　　【NN】　2006/11/08(Wed) 12:53

返信ありがとうございます。
確かに5×単位行列の行列式は5ですね。
ご指摘の通り線形代数を勉強してみます。
勉強不足を痛感します。
アドバイスありがとうございました。