「統計学関連なんでもあり」の過去ログ---010

★ 二次能率行列から出発する?主成分分析 ★

　135　二次能率行列から出発する?主成分分析　　さかぐち　　2000/09/26 (火) 21:25
　　136　Re: 二次能率行列から出発する?主成分分析　　めがねかいまん　　2000/09/26 (火) 22:35
　　　137　Re^2: 二次能率行列から出発する?主成分分析　　さかぐち　　2000/09/27 (水) 09:54
　　　　138　Re^3: 二次能率行列から出発する?主成分分析　　GrowHair　　2000/09/27 (水) 11:43
　　　　　139　Re^4: 二次能率行列から出発する?主成分分析　　めがねかいまん　　2000/09/28 (木) 00:03
　　　　　　142　Re^5: 二次能率行列から出発する?主成分分析　　GrowHair　　2000/09/28 (木) 09:54
　　　　　　　143　Re^6: 二次能率行列から出発する?主成分分析　　さかぐち　　2000/09/28 (木) 18:51

135.　二次能率行列から出発する?主成分分析　　さかぐち　　2000/09/26 (火) 21:25

主成分分析には(1)相関係数行列から出発するもの，(2)分散共分散行列から出発するものがあるそうで，その使い分けは
http://aoki2.si.gunma-u.ac.jp/lecture/mb-arc/arc001/200.html
を読んで一応納得したところですが，ある本を読んだところ
二次能率行列（second morment matrix）{a_ij}

　m a = 　Σ d * d ij 　k=1 ki kj

ただし，
k=1～m, i,j=1～n

を求めてこの固有値/ベクトルを計算している分析法が出ていました。
もとのデータdはそのとる値が0～1である以外には特に制約はないのですが，主成分分析の方法として二次能率行列を出発点にする方法にはどのような意味合いがあるのでしょうか?

　　　　　[このページのトップへ]

136.　Re: 二次能率行列から出発する?主成分分析　　めがねかいまん　　2000/09/26 (火) 22:35

二次能率行列というのは聞き慣れない訳語ですね。d(ik) などが，何なのか今ひとつ分からないのですが，変動・共変動行列（つまり，それを n で割れば分散・共分散行列）なんでしょうか。

n で割るか割らないか（一般的に言えば分散・共分散行列のスカラー倍）は，結果に本質的な影響は与えない（解が定数倍されるだけ）と思いますが。

137.　Re^2: 二次能率行列から出発する?主成分分析　　さかぐち　　2000/09/27 (水) 09:54

さかぐちです。コメントありがとうございます。

>
> 二次能率行列というのは聞き慣れない訳語ですね。d(ik) などが，何なのか今ひとつ分からないのですが，変動・共変動行列（つまり，それを n で割れば分散・共分散行列）なんでしょうか。

d(ik)の平均が0になってればお話のとおりだと思うのですが，そういう操作はなされていないのです。

#原点まわりの変動，共変動行列?

d(ik)はある色素混合物の光の吸収率(したがってとりえる値は0から1)でiがサンプルの番号，kが波長帯（域）に対応していて，複数の混合物のd(ik)から主成分分析で構成している成分色素の分光濃度を推定しようという話に出てきた方法です。

感覚的にはd(ik)がどのように変化したかよりもどのような値をとったかが問題なのでこのようになるのかなぁと思うのですが...

　　　　　[このページのトップへ]

138.　Re^3: 二次能率行列から出発する?主成分分析　　GrowHair　　2000/09/27 (水) 11:43

関数空間 (ヒルベルト空間，バナッハ空間) についてはご存知でしょうか。

サンプル i に関する分光感度特性 (d_1i, d_2i, ..., d_mi) を m 次元のベクトルと考えます。これがサンプル数 n 個だけあるので，それらの線形和で表現できるベクトル全体は元の m 次元空間の部分空間をなします。サンプルは互いに一次独立とは限らないので，部分空間の次元は n 以下です。おっしゃるような分析法により，この部分空間が実質的に何次元であるか，調べることができます。

その行列の固有ベクトルを求めることは，部分空間を直交基底によって張りかえることになります。各固有値は，それぞれの基底の現れている強さみたいなもんです。固有値を大きい順に並べて眺めてみて，どこからか急にガクンと小さくなっているところがあったら，それは誤差によって見かけ上一次独立に見えていただけだったと考えられるので，そこから先は捨てます。切捨てずに残った固有値の個数が実質的な次元，ということになります。

前述の例の場合，いくらたくさん光透過フィルタがあったとしても，そのフィルタを形成している材料 (色素) が 3 種類しかなければ，分析の結果 3 次元と出るでしょう。

　　　　　[このページのトップへ]

139.　Re^4: 二次能率行列から出発する?主成分分析　　めがねかいまん　　2000/09/28 (木) 00:03

> サンプル i に関する分光感度特性 (d_1i, d_2i, ..., d_mi) を m 次元のベクトルと考えます。これがサンプル数 n 個だけあるので，それらの線形和で表現できるベクトル全体は元の m 次元空間の部分空間をなします。サンプルは互いに一次独立とは限らないので，部分空間の次元は n 以下です。おっしゃるような分析法により，この部分空間が実質的に何次元であるか，調べることができます。

結局平均値周りの偏差平方和であっても限点周りの二次の積率であっても，本質は変わらないのだということでしょうか?

　　　　　[このページのトップへ]

142.　Re^5: 二次能率行列から出発する?主成分分析　　GrowHair　　2000/09/28 (木) 09:54

補足します。っちゅーか，肝腎の主成分分析との関係を述べてませんでした。

(d_1i, d_2i, ..., d_mi) を横ベクトルで書き，それを各サンプル i について縦に積み重ねてできる行列を A と書きます。A の転置行列を tA と書きます。
おっしゃる方法では，正方行列 (A tA) を固有値分解しています。一方，原点まわりの主成分分析では，正方行列 (tA A) を固有値分解します。
実は，両者は一致します。行列のサイズの違い分は固有値 0 が並びます。
だから，サイズの小さい行列で計算した方がラク (って計算機が?) です。
つまり，原点まわりの主成分分析を簡便に計算する方法，ということです。

ところで，原点まわりか平均値まわりかという問題ですが，これはデータの性質によるんだと思います。カラーフィルタの場合，線形性が考え方の中心にあるので (つまり他のフィルタの線形和で表せるフィルタは冗長であるという)，原点まわりに処理するのが本質的だと思います。

　　　　　[このページのトップへ]

143.　Re^6: 二次能率行列から出発する?主成分分析　　さかぐち　　2000/09/28 (木) 18:51

GrowHair 　　様
めがねかいまん様

ありがとうございました。
主成分分析の出発点の選択（相関係数，分散共分散，原点周り）はやはりデータの性質の見極め（あるいは視点）が大事なのですね。

参考までに，この元の話（色素の話）の出典を記しておきます。

太田登:色再現工学の基礎, 194-197, 1997, コロナ社

　　　　　[このページのトップへ]