「統計学関連なんでもあり」の過去ログ--- 044

No.13779　検定の「本質」とは？　　【カヌー】　2010/11/18(Thu) 05:56

基本的なところについて教えていただけましたら幸です。

【質問1】

検定の「本質」についての次のような説明は正しいでしょうか？

『未知である母集団について，環境などの影響下に測定した有限個の標本から，その「分布」を推定すること。』

≪補足≫
「1 次元量に限り，比較できる」ので，この分布を1次元化するための「1次元化マップ」が必要となる。本来この1次元化マップはアプリ依存なので「統計学」の範疇ではない。ただし，「平均」という1次元量は一般的に有用であるため，この分布の「平均」を以って元の母集団を比較することは，しばしば有る。

【質問2】

定番である（？）検定手法についての実証実験がなされたことはないでしょうか？

例えば，1億人の母集団，もしくは性状に比較的まとまりがある10万人の母集団に対して統計をとり，そこからランダムに選び出された100人分のデータから母集団の「分布」を推定し正解と比較する，など。

No.13780　Re: 検定の「本質」とは？　　【ひの】　2010/11/18(Thu) 07:28

>検定の「本質」についての次のような説明は正しいでしょうか？
>『未知である母集団について，環境などの影響下に測定した有限個の標本から，その「分布」を推定すること。』

正しくありません。検定と推定は異なる作業です。

>【質問2】
>定番である（？）検定手法についての実証実験がなされたことはないでしょうか？

　元データさえあれば簡単なことです。普通はそんな手間をかけて「実証」実験しなくても「模擬」実験，つまりシミュレーションで事足りると思いますけれど。

No.13781　Re: 検定の「本質」とは？　　【青木繁伸】　2010/11/18(Thu) 09:15

議論の道筋がかなり変なのでコメントしておきます

> 「1次元量に限り，比較できる」ので，

括弧付きですが「一次元量」とはどういうことでしょうか？

> この分布を1次元化するための「1次元化マップ」が必要となる。

これも括弧付きの「一次元化マップ」？

> 本来この1次元化マップはアプリ依存なので「統計学」の範疇ではない。

アプリって，それぞれの統計解析ソフトのことですか？

> ただし，「平均」という1次元量は一般的に有用であるため，

「平均」も一次元量ということのようですが，平均の次元は一次元ではないでしょう（しいて言えば0次元か？）
「一次元量に限り，比較できる」というのは，おかしいでしょう。平均以外にも比較に使用されるものはたくさんありますよね。分散，相関係数，回帰係数。。。

「一次元化マップ」というのは，平均の計算方法ということになってしまいますか？それは，アプリ依存ではなく，ちゃんと統計学で定義されているものですよね。

「一次元量」というのは，「一つの数値として表されるもの」という意味でしょうかね。

質問2については，ひのさんの指摘通り，「シミュレーションで事足りる」わけですけど，シミュレーションの結果は統計理論通りになるのでシミュレーションする必要もないわけです。「実際のデータはシミュレーションで使うデータとは違う（厳密に正規分布に従ってはいない等々）のでシミュレーションの結果は実際の結果と違う」ということなら，そもそも，「実際のデータでは統計学で仮定した条件は満たされない」ということで，そのような統計処理を行うのがそもそも間違いということになってしまいます。

No.13823　Re: 検定の「本質」とは？　　【カヌー】　2010/11/21(Sun) 01:50

レスをいただき，ありがとうございます。

---
明か暗かは別にして，分布形状の「推定」なしに，検定や比較はできないと思うのですが・・・。

---
あるコンペで，A社とB社とが競うとします。
その際に，もしルールが，「100台のエンジンを提出し，馬力の総合評価の高い会社のエンジンを採用する」であった場合，このコンペはフェアではありません。
それは，総合評価が何であるか明確でないからです。

例えば，各エンジンの馬力を小さい順にPiとして，予め定めてあるCiにより，E＝Σ（Ci×Pi）を100台のエンジンの評価値とする，などと明確にしておく必要があります。

1次元化マップとは，上記の例でいうとE（Ci，Pi）のことです。
そして，1次元量とはEのことです。

> 「一次元量」というのは，「一つの数値として表されるもの」という意味でしょうかね。

はいそうです。ご指摘のように表現すべきでした。

それで，1次元化マップではなく，汎関数と表現すべきでした。1次元量ではなく，スカラーと表現すべきでした。

それから，「アプリ依存」とは，この汎関数に依存するという意味でした。

---
ご指摘のとおり，ある前提から演繹的に導き出された結果は「必ず」正しいことは理解しております。

ただ，表現が不適切でした。お伺いしたかったのは，理論構築の際に前提としている前提が正しいか否かを検証するための「大実験」がなされたことがあるかどうかでした。

もう少し言いますと，統計とは，「未知である母集団を調べたいときに，全数を調べられないので，サンプリングした少数の要素から母集団を推定するためのもの」と捕らえておりました。が，この理解はあっていますでしょうか？

未知ということは，「前提」があっているかどうかもわからない，と思うのですが・・・。

No.13842　Re: 検定の「本質」とは？　　【ひの】　2010/11/23(Tue) 09:52

> もう少し言いますと，統計とは，「未知である母集団を調べたいときに，全数を調べられないので，サンプリングした少数の要素から母集団を推定するためのもの」と捕らえておりました。が，この理解はあっていますでしょうか？

>未知ということは，「前提」があっているかどうかもわからない，と思うのですが・・・。

　そういう言い方をするのなら，未知なのだからそもそもサンプリングが不可能ということになりますね。あなたの表現はいつの言葉足らずなのです。「未知である母集団」という曖昧な表現が混乱の元です。その母集団について何も分かっていないという意味ではないでしょう？