「統計学関連なんでもあり」の過去ログ---007

★ 出てこなかった玉は何種類? ★

　217　出てこなかった玉は何種類?　　paatje　　2000/04/21 (金) 17:32
　　221　Re: 出てこなかった玉は何種類?　　ひの　　2000/04/22 (土) 13:27
　　　223　Re^2: 出てこなかった玉は何種類?　　paatje　　2000/04/24 (月) 18:25
　　　　226　Re^3: 出てこなかった玉は何種類?　　ひの　　2000/04/24 (月) 22:57
　　220　Re: 出てこなかった玉は何種類?　　青木繁伸　　2000/04/21 (金) 20:58

217.　出てこなかった玉は何種類?　　paatje　　2000/04/21 (金) 17:32

paatjeと申します。
ある問題を考えているのですが，どうにもわかりません，アドバイスをお願いします。
一言でいうと，実現しなかった事象の数を知りたいのです。

例えば，ある袋に色のついた玉がたくさん入っていて，
その中からN個取り出したときの，色別の取り出された玉の数が得られています。
それを元に，袋の中にどのくらいの種類（色数）の玉があるかを知りたいのです。

とは言っても，取り出される確率が一定の値以上の玉が何種類，という言い方でないと，取り出される確率が無限小の色の玉なら無限種類あることになるだろうとは思っています。

例えば1000個取り出すと，100個ずつ10種類の玉が取り出されるような袋と，1個ずつ1000種類の玉が取り出される袋では，後者のほうが前者より玉の種類が多そうに思うのですが，それを数値的に納得したいのです。

素人くさい質問で恐縮ですが，素人なので勘弁してください。

　　　　　[このページのトップへ]

221.　Re: 出てこなかった玉は何種類?　　ひの　　2000/04/22 (土) 13:27

> 例えば，ある袋に色のついた玉がたくさん入っていて，その中からN個取り出したときの，色別の取り出された玉の数が得られています。
> それを元に，袋の中にどのくらいの種類（色数）の玉があるかを知りたいのです。

取り出されたサンプルの個数と種数の間に何らかの関係を見つけ，外挿するしかなでしょう。青木さんが紹介されているような生物群集の場合には，対数正規分布などの統計分布で近似できることが経験的に知られており，そういう分布を仮定することで，サンプルサイズを増やしたとき種数がいくつになるかを推定できます。

しかし，他の問題にそのまま適用はできませんので，まずは，サンプルを増やしていったときに種数と個体数の関係がどの様なパターン（分布関数）になるのかを解析することから始める必要があるでしょう。経験的にデータから帰納して考えるか，あるいは事象の生起するときのメカニズムや特性から演繹して考えるか，2通りのアプローチがあると思います。

なお，袋の中の玉の個数が無限大の時には種数も無限大になりますから個数を限定することも必要です。

　　　　　[このページのトップへ]

223.　Re^2: 出てこなかった玉は何種類?　　paatje　　2000/04/24 (月) 18:25

青木様，ひの様，アドバイスありがとうございます。

> 取り出されたサンプルの個数と種数の間に何らかの関係を見つけ，外挿するしかなでしょう。青木さんが紹介されているような生物群集の場合には，対数正規分布などの統計分布で近似できることが経験的に知られており，そういう分布を仮定することで，サンプルサイズを増やしたとき種数がいくつになるかを推定できます。

サンプルから，モデルのパラメータ（例えば，対数正規分布だとσとμ）を推定して，グラフにおいて各出現確率αより大きい(小さい）部分の面積から，当該出現確率以上で出現する玉の種類数を得る，ということでしょうか?

モデルの選択に関してロバストな方法というか，モデルに対する事前知識をほとんど仮定しない方法はあるのでしょうか?

　　　　　[このページのトップへ]

226.　Re^3: 出てこなかった玉は何種類?　　ひの　　2000/04/24 (月) 22:57

> サンプルから，モデルのパラメータ（例えば，対数正規分布だとσとμ）を推定して，グラフにおいて各出現確率αより大きい(小さい）部分の面積から，当該出現確率以上で出現する玉の種類数を得る，ということでしょうか?

　　ちょっと違います。結局，サンプル数　x　種数　S としたとき，S=f(x) となるような関数　f　を見つければいいわけです。生物群集の場合，これはべき関数や対数関数のような比較的単純な関数で近似できます。

　類似の事象では，Niftyの会議室の発言数（サンプル数）と発言者数（種数）の関係はおおむねべき関数で近似できます。しかし，べき指数の値や係数の値は会議室の性格によって異なります。

　まず，横軸にサンプル数，縦軸に種数をとってグラフを書き，どういう式に乗りそうか見当をつけましょう。べき関数や対数関数のような単純な関数なら最小自乗法で簡単に関数のパラメータを推定できます。

>モデルに対する事前知識をほとんど仮定しない方法はあるのでしょうか?

グラフの形を見てエイヤ!で決める方法はモデルに対する仮定をほとんど必要としませんね(^^;)。

　　　　　[このページのトップへ]

220.　Re: 出てこなかった玉は何種類?　　青木繁伸　　2000/04/21 (金) 20:58

> 素人くさい質問で恐縮ですが，素人なので勘弁してください。

いえいえ，これは大変高度な問題です。
私は原文に当たっていないので詳細はわかりませんが，以下の論文に重大なヒントがあると思います。

Fisher, R. A., Corbet, A. S. and Williams, C. B. (1943): The relation betweern the number of species and the number of individuals in a random sample of an animal population. J. Anim. Ecol., 12, 42-58

この論文が引用されていたのは，
C. R. Rao 著，藤越，柳井，田栗訳「統計学とは何か」丸善株式会社
です。113ページに，「未発見の蝶の種の総数を推定するために用いられたフィッシャーらの画期的な方法」ということのようです。

　　　　　[このページのトップへ]