「統計学関連なんでもあり」の過去ログ---013

★ 類似度の分布と一致する確率について ★

　208　類似度の分布と一致する確率について　　Black Block　　2001/04/09 (月) 16:56
　　209　Re: 類似度の分布と一致する確率について　　青木繁伸　　2001/04/09 (月) 17:11
　　　210　Re^2: 類似度の分布と一致する確率について　　Black Block　　2001/04/09 (月) 18:16
　　　　217　Re^3: 類似度の分布と一致する確率について　　名無しさん　　2001/04/10 (火) 22:41
　　　　　225　Re^4: 類似度の分布と一致する確率について　　Black Block　　2001/04/11 (水) 14:51
　　　　　　227　Re^5: 類似度の分布と一致する確率について　　青木繁伸　　2001/04/11 (水) 17:40
　　　　　　　228　Re^6: 類似度の分布と一致する確率について　　青木繁伸　　2001/04/11 (水) 17:54
　　　　　　　　232　Re^7: 類似度の分布と一致する確率について　　Black Block　　2001/04/12 (木) 10:37

208.　類似度の分布と一致する確率について　　Black Block　　2001/04/09 (月) 16:56

　ある2つの試料を分析し，その類似度からそれらの試料が同一起源のものであるか否かを調べたいと思っています。
　過去の分析では，完全に一致した場合の類似度を「1」，異なっている場合の類似度を「0」とすると，同一起源の場合の類似度は，平均 X1 不偏分散σ1，別起源の場合の類似度は，平均 X2 不偏分散 σ2 （1>X1>X2>0）の分布になることがわかっています。
　新しい2つの試料を分析した結果，ある類似度 X が得られた場合，この2つの試料が同一起源である確率，別起源である確率，不明である確率はどのように計算できるのでしょうか。
　参考となる文献，ホームページでも結構ですので，教えてください。
　よろしくお願いいたします。

　　　　　[このページのトップへ]

209.　Re: 類似度の分布と一致する確率について　　青木繁伸　　2001/04/09 (月) 17:11

> 　新しい2つの試料を分析した結果，ある類似度 X が得られた場合，この2つの試料が同一起源である確率，別起源である確率，不明である確率はどのように計算できるのでしょうか。

ある資料が，2つの群のいずれに属するか（それぞれの群に属する確率）は，多変量の場合にはマハラノビスの汎距離を求め，それがカイ二乗分布に従うことから群に属する確率が計算できます。
http://aoki2.si.gunma-u.ac.jp/lecture/Discriminant/mahalanobis.html

一変量の場合にはかなり簡単になり，各群の平均値と標準偏差から2つの標準化得点(z1, z2 としましょうか）を求め，その小さい方に属すると判定することになり，群に属する確率は　pi = Pr{|Z| < |zi|} で求まりますね。

　　　　　[このページのトップへ]

210.　Re^2: 類似度の分布と一致する確率について　　Black Block　　2001/04/09 (月) 18:16

> ある資料が，2つの群のいずれに属するか（それぞれの群に属する確率）は，多変量の場合にはマハラノビスの汎距離を求め，それがカイ二乗分布に従うことから群に属する確率が計算できます。

　早速のコメント有り難うございます。
　ちょっと書き方が悪かったようで，誤解を与えてしまったことお詫びいたします。

　この場合は，類似度のみから2つの試料の関係だけを推定したいというものです。
たとえていえば，ちょっとぼけた2つの写真を分析して，同じ人の顔かどうかを判定したいというようなもので，新しく分析した2つの試料が既存の群（過去に写したことのある人）に属するという保証は全くありませんし，新しい同じ群（偶然新しい同じ人）に属するという保証もありません（もちろん，属する（偶然一致する）場合もあり得ます）。

　この例のように，類似度は定義できても，マハラノビスの距離はちょっと定義しにくいデータです。

　よろしくお願いいたします。

　　　　　[このページのトップへ]

217.　Re^3: 類似度の分布と一致する確率について　　名無しさん　　2001/04/10 (火) 22:41

二つの資料の類似度が一つの値 S としてあるんでしょ?

類似度は，同じ起源の場合は，平均X1，標準偏差σ1に従う。
　　　　　違う起源の場合は，平均X2，標準偏差σ2に従う。
　　　　（σは標準偏差を表すとするのが通常だし，後の都合からこう決める）

S がどっちの分布に従うかというのだから，
Z1=(S-X1)/σ1
Z2=(S-X2)/σ2
を求めて小さい方に属すると考えるのが妥当。
確率も求まりますがね。

Z1，Z2 は，マハラノビスの汎距離の1次元版の平方根でしょ?
Z1，Z2を二乗したものが1次元のマハラノビスの距離ですよね。
誤解していないと思うんだけど，どこが違う?

群が定義できないなんて書いてあるけど，「同じ起源の場合は，平均X1，標準偏差σ1に従う。違う起源の場合は，平均X2，標準偏差σ2に従う。」ってのは，群が二つあるということでしょ?

　　　　　[このページのトップへ]

225.　Re^4: 類似度の分布と一致する確率について　　Black Block　　2001/04/11 (水) 14:51

　過去の結果から得られた，同一起源の試料の類似度の分布を G1，異なる
起源の試料間の類似度の分布を G2 とします。

　試料1と2の類似度が A，3と4の類似度が B であった場合，A がG1に属する確率は，B が G1 に属する確率よりも小さいのですが，試料1と2が同一起源の試料である可能性は試料3と4の場合より大きいことになります（極端にいえば，A が1の場合，G1 に属する確率はほとんど0だが，試料1と2が同じものである確率はほぼ 100% ということです）。
　このような場合の，同一起源の試料であるという確率のことです。（この例では，B の場合も同一起源である確率はほぼ 100% だと思います）

G1 G2 | o xxx | ooo xxxxx | oooooo xxxxxxx | ooooooooooooooooooo xxxxxxxxxxxxxxxx ------------------------------------------------- 1 A B 　 0

大 <- 類似度 -> 小

　よろしくお願いします。

　　　　　[このページのトップへ]

227.　Re^5: 類似度の分布と一致する確率について　　青木繁伸　　2001/04/11 (水) 17:40

最初の質問では，「新しい2つの試料を分析した結果，ある類似度 X が得られた場合，この2つの試料が同一起源である確率，別起源である確率，不明である確率はどのように計算できるのでしょうか。」とありました。
だから，上の図で言うと B がない状態のことだと受け取りました。A は G1 に属すると判定しますよと言うのが私の最初のコメントです。

今回の説明では状況が違ってきたので，私にはお答えできなくなりました。

　　　　　[このページのトップへ]

228.　Re^6: 類似度の分布と一致する確率について　　青木繁伸　　2001/04/11 (水) 17:54

しばらくあの図を見ていたら何となくヒントが浮かんできましたよ。

　　　　　　　　　　　　　****** 　　　　　　　　　　　** 　　　　　　　　　　* 　　　　　　　　　* 　　　　　　　　* 　　　　　　　*　G1の累積度数分布　　　　　** 　　*** ------------------------ 　　　　　　　　　　　　　　　　　　　　　　　1
左右は反転させます。数直線は右が数値が大きくなるように描く。

縦軸の目盛りを同一起源の確率と見なすのはいかが?
いずれにせよ，普通に言う確率と違うとは思うが。
それ以上は私にはわからない。

　　　　　[このページのトップへ]

232.　Re^7: 類似度の分布と一致する確率について　　Black Block　　2001/04/12 (木) 10:37

　現在は，分布図で G1 と G2 の重なっている部分の面積の比をもって，同一起源の確率と考えています。
　危険率は考えなくても良いのかという疑問はありますが。

　当分このままでいきたいと思います。

　有り難うございました。

　　　　　[このページのトップへ]