★ 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。 ★

 1 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  しおはら けい  2000/09/12 (火) 02:03
  9 Re: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  中原  2000/09/12 (火) 17:13
   11 Re^2: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  竹澤邦夫  2000/09/12 (火) 17:36
    14 Re^3: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  中原  2000/09/12 (火) 19:49
     15 Re^4: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  マンボウ  2000/09/12 (火) 22:06
      19 Re^5: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  ???  2000/09/13 (水) 07:37
       32 Re^6: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  マンボウ  2000/09/14 (木) 22:27
       24 Re^6: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  竹澤邦夫  2000/09/14 (木) 10:32
        25 Re^7: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。(続き)  竹澤邦夫  2000/09/14 (木) 10:33
  2 Re: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  かぶとむし  2000/09/12 (火) 10:00
   21 Re^2: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  DISIR  2000/09/13 (水) 09:37
    33 Re^3: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  かぶとむし  2000/09/15 (金) 10:08
     34 Re^4: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  竹澤邦夫  2000/09/18 (月) 08:30
      48 Re^5: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  かぶとむし  2000/09/19 (火) 11:10
       51 Re^6: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  竹澤邦夫  2000/09/19 (火) 12:35
        52 Re^7: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  かぶとむし  2000/09/19 (火) 13:09
         53 Re^8: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  竹澤邦夫  2000/09/19 (火) 13:39
          56 Re^9: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  ???  2000/09/19 (火) 17:34
           62 Re^10: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  マンボウ  2000/09/19 (火) 22:27
            74 Re^11: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  ???  2000/09/20 (水) 07:59
             80 Re^12: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  かぶとむし  2000/09/20 (水) 11:02
            73 Re^11: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  ???  2000/09/20 (水) 07:54
             79 Re^12: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  かぶとむし  2000/09/20 (水) 10:53
              85 Re^13: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  竹澤邦夫  2000/09/20 (水) 14:35
               88 Re^14: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  かぶとむし  2000/09/20 (水) 17:45
                90 Re^15: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  青木繁伸  2000/09/20 (水) 19:22
                 94 Re^16: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  かぶとむし  2000/09/21 (木) 10:58
                 93 Re^16: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  かぶとむし  2000/09/21 (木) 10:39
                 92 Re^16: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  竹澤邦夫  2000/09/21 (木) 08:27
                  95 Re^17: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  青木繁伸  2000/09/21 (木) 11:50
                   96 Re^18: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  竹澤邦夫  2000/09/21 (木) 13:06
                    97 Re^19: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  青木繁伸  2000/09/21 (木) 13:11
                     99 Re^20: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  竹澤邦夫  2000/09/21 (木) 13:56
                      111 Re^21: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  ???  2000/09/22 (金) 07:48
           57 Re^10: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  竹澤邦夫  2000/09/19 (火) 18:29
            58 Re^11: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  ???  2000/09/19 (火) 20:46
             61 Re^12: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  マンボウ  2000/09/19 (火) 22:22
              82 Re^13: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  ???  2000/09/20 (水) 12:01
               83 Re^14: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  中原  2000/09/20 (水) 12:47
              78 Re^13: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  かぶとむし  2000/09/20 (水) 10:45
              76 Re^13: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  竹澤邦夫  2000/09/20 (水) 08:35
              75 Re^13: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  ???  2000/09/20 (水) 08:30
               77 Re^14: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  竹澤邦夫  2000/09/20 (水) 10:05
          54 Re^9: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  かぶとむし  2000/09/19 (火) 13:56
           125 Re^10: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  みわ  2000/09/24 (日) 19:15
           64 Re^10: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  マンボウ  2000/09/19 (火) 22:34
           55 Re^10: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  竹澤邦夫  2000/09/19 (火) 15:06


1. 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  しおはら けい  2000/09/12 (火) 02:03
分散と不偏分散の違いとは何なんでしょうか?
標準偏差は,どちらを用いて求めるのが一般的なんでしょうか?

当方は有機化学が専門で,数学の参考書(日本語)へのアクセスができませんので,どなたかご教授願います。

     [このページのトップへ]


9. Re: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  中原  2000/09/12 (火) 17:13
> 分散と不偏分散の違いとは何なんでしょうか?

文字通り,不偏推定量であるかどうかの違いです。
不偏であるということは,母数の推定において問題になることですから,得られたデータそのものの散らばりを知るときには分散,母分散の推定に関するような場合には不偏分散を使う。そして,統計学の適用においては不偏分散が使われることが多い。

> 標準偏差は,どちらを用いて求めるのが一般的なんでしょうか?

目的によってどちらを使うかが決まる。
しかし,不偏分散の平方根をとっても,それは母標準偏差の不偏推定量ではないということは,あまり知られていないかもしれない。

     [このページのトップへ]


11. Re^2: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  竹澤邦夫  2000/09/12 (火) 17:36
竹澤(北陸農業試験場・研究技術情報科)です。

中原>しかし,不偏分散の平方根をとっても,それは母標準偏差の不偏推定量ではないということは,あまり知られていないかもしれない。

っということは,以下のページに書かれていることは間違いなのでしょうか。

http://psyc.queensu.ca/~flanagan/202_1999/lecture5/lecture5.html

     [このページのトップへ]


14. Re^3: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  中原  2000/09/12 (火) 19:49
> っということは,以下のページに書かれていることは間違いなのでしょうか。
>
> http://psyc.queensu.ca/~flanagan/202_1999/lecture5/lecture5.html

いや〜。通常は標準偏差については不偏であるかないかはあまり考慮されていないので,不偏分散の平方根を取ったものでいいと思います。

     [このページのトップへ]


15. Re^4: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  マンボウ  2000/09/12 (火) 22:06
この伝言板で前に,「不偏標準偏差は,変動を(n-1.5)で割って平方根をとったもの」という回答がありました。

ほんとうかな,と思ったものの,数式で証明することもできないのでしたが,今回シミュレーションしてみました。

5万個の正規乱数から,n 個のデータを標本として抽出して「√[変動/(n-c)]」で標本標準偏差を計算することを2万回繰り返し,その平均値と母標準偏差を比較しました。

なるほど,c=1.5 の方が不偏のようです。
(2万個の平均値と母標準偏差が一致することが不偏性でしたよね?)
(さらに,私のシミュレーションプログラムがあっていればの話ですが)

     [このページのトップへ]


19. Re^5: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  ???  2000/09/13 (水) 07:37
> 5万個の正規乱数から,n 個のデータを標本として抽出して「√[変動/(n-c)]」で標本標準偏差を計算することを2万回繰り返し,その平均値と母標準偏差を比較しました。
>
> なるほど,c=1.5 の方が不偏のようです。

「n」は,どのような範囲の値について,シミュレーションした結果なのですか?

     [このページのトップへ]


32. Re^6: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  マンボウ  2000/09/14 (木) 22:27
> 「n」は,どのような範囲の値について,シミュレーションした結果なのですか?

----------------------
復元抽出をシミュレーションしましたので,無限母集団の設定になっています。
母集団の大きさ 50000
母平均     50.0014
母標準偏差   9.93323

-----------------------------------
標本サイズ   標 準 偏 差
n      n-1    n-1.5
-----------------------------------
5     9.37107  9.97029
10     9.64918  9.92554
25     9.84011  9.92268
50     9.88205  9.93485
100     9.90616  9.93142
500     9.92843  9.93453
1000     9.93085  9.92876
-----------------------------------

     [このページのトップへ]


24. Re^6: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  竹澤邦夫  2000/09/14 (木) 10:32
竹澤(北陸農業試験場・研究技術情報科)です。

 平均が0,分散が4という正規乱数を10個作ってその標準偏差と分散を求める,という作業を2000回行ってそれぞれの平均値を求める,というシミュレーションを行いました。
 乱数の初期値を代えて3回の数値実験を行った結果は以下の通りです。
    標準偏差    分散
1回目
c=0.9  1.933127   3.940833
c=1.0  1.943836   3.98462
c=1.1  1.954726   4.029391
c=1.2  1.965801   4.07518
c=1.3  1.977067   4.122021
c=1.4  1.988528   4.169952
c=1.5  2.000191   4.21901
c=1.6  2.012062   4.269236
2回目
c=0.9  1.932148   3.91952
c=1.0  1.942852   3.963071
c=1.1  1.953737   4.0076
c=1.2  1.964806   4.05314
c=1.3  1.976066   4.099728
c=1.4  1.987521   4.1474
c=1.5  1.999178   4.196192
c=1.6  2.011043   4.246147

     [このページのトップへ]


25. Re^7: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。(続き)  竹澤邦夫  2000/09/14 (木) 10:33
竹澤(北陸農業試験場・研究技術情報科)です。

 さっきの数値実験の3回目の結果です。
3回目
c=0.9  1.929537   3.928131
c=1.0  1.940227   3.971777
c=1.1  1.951097   4.016404
c=1.2  1.962152   4.062045
c=1.3  1.973396   4.108735
c=1.4  1.984836   4.156511
c=1.5  1.996478   4.205411
c=1.6  2.008326   4.255476

     [このページのトップへ]


2. Re: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  かぶとむし  2000/09/12 (火) 10:00
> 分散と不偏分散の違いとは何なんでしょうか?
> 標準偏差は,どちらを用いて求めるのが一般的なんでしょうか?

長谷川勝也さんという方がお書きになっている「Excelによる統計学入門」という本にわかりやすく書いてありましたよ。特に,どうして偏差平方和をn-1で割ると母分散の不偏推定量になるか,という証明がのっていて,目からウロコが落ちました。標準偏差も不偏分散の平方根を取るのじゃないですか?

     [このページのトップへ]


21. Re^2: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  DISIR  2000/09/13 (水) 09:37
>標準偏差も不偏分散の平方根を取るのじゃないですか?
正確な意図は中原さんにお答えいただくのが良いと思いますが,
不偏推定量s^2=Σ(xi-u)^2/(n-1)として,E(si^2)=σ^2,すなわち
(s1^2+s2^2+・・・sn^2)/n=σ^2(n→∞)は成立するが,E(si)=σ,すなわち
(s1+s2+・・・sn)/n=σ(n→∞)は成立せず,いまだ過小評価になっているという
ことをおっしゃってるのではないかと推察しました。たとえば,自由度5のときは,×1/0.9515の補正が必用ということでしょう。しかし,この補正をしたのを1度も見たことはない。そういう意味からは,一人だけ使うと混乱を招くので止めた方が良いと個人的には思います。

     [このページのトップへ]


33. Re^3: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  かぶとむし  2000/09/15 (金) 10:08
> >標準偏差も不偏分散の平方根を取るのじゃないですか?

>自由度5のときは,×1/0.9515の補正が必用ということでしょう。しかし,この補正をしたのを1度も見たことはない。そういう意味からは,一人だけ使うと混乱を招くので止めた方が良いと個人的には思います。

結論としては,標準偏差を求める場合は,分散(「n-1」で割ったもの)を補正なしで平方根を取って良いと言うことですよね? 統計学者のみなさんには,議論の必要があることかもしれませんが,私たち統計的方法のユーザーにとっては,教科書的にもあまり触れられていないことのようですし,結論に影響しないようなら単純に平方根をとる方がわかりやすくていいと思います。間違っていれば教えて下さい。

     [このページのトップへ]


34. Re^4: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  竹澤邦夫  2000/09/18 (月) 08:30
竹澤(北陸農業試験場・研究技術情報科)です。

>しかし,この補正をしたのを1度も見たことはない。そういう意味からは,一人だけ使うと混乱を招くので止めた方が良いと個人的には思います。

 確かに標準偏差の場合でも(n-1)で割る,という方法が定着しているようです。しかし,不偏推定量の平方根が不偏推定量だとは限らない,つまり,ある確率変数の期待値の平方根はその確率変数の平方根の期待値とは一致しないかも知れない,という知識を広めるためにも,(n-1)で割ったのものと(n-1.5)で割ったものを併記するとか,そういう方法で,正しい知識を普及させた方がいいようにも思います。

     [このページのトップへ]


48. Re^5: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  かぶとむし  2000/09/19 (火) 11:10
> 竹澤(北陸農業試験場・研究技術情報科)です。
>  確かに標準偏差の場合でも(n-1)で割る,という方法が定着しているようです。しかし,不偏推定量の平方根が不偏推定量だとは限らない。

実験計画法などの教科書にはσ^2が母分散でE(s^2)=σ^2と書かれていると思います。「不偏分散の平方根が不偏推定量になるとは限らない」というのは,E(s)=σとは限らない,ということなのでしょうか? それとも標準偏差という統計量がそもそもσではないということなのでしょうか? なんだかこんがらがってきました。

     [このページのトップへ]


51. Re^6: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  竹澤邦夫  2000/09/19 (火) 12:35
竹澤(北陸農業試験場・研究技術情報科)です。

 直線回帰を行うことが分かっているデータに対して直線回帰を施して,y=2x+1 という回帰式が得られたとします。x=2に対する推定値は5になります。もし,x=2に対するy^2(yの2乗)が重要な意味を持つとしたとき,y^2 の推定値として25が妥当だとは限りません。
 yに対する優れた推定値が得られたのだから y^2 に対する推定値はそれを2乗すればよい,とは言い切れないわけです。これは実用的に重要な意味を持つことだと思います。
 母集団の分散を推定値するために(n-1)を用いて求めた推定値は優れた推定値だから,標準偏差に対する推定値はその値の正の平方根をとればいいだろう,という話は,上のような一般的な場合を考えると安易に見過ごせない気がするわけです。

     [このページのトップへ]


52. Re^7: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  かぶとむし  2000/09/19 (火) 13:09
> 竹澤(北陸農業試験場・研究技術情報科)です。
>  母集団の分散を推定値するために(n-1)を用いて求めた推定値は優れた推定値だから,標準偏差に対する推定値はその値の正の平方根をとればいいだろう,という話は,上のような一般的な場合を考えると安易に見過ごせない気がするわけです。

ちょっとこんがらがってますので教えて欲しいのですが,
(1)「σ^2」は母分散,「σ」は母標準偏差と考えるのは間違っていないのですね?
(2)もしそうだとすると「σ=√σ^2」はどうでしょう?
(3)しかし,「E(s^2)=σ^2」は成り立つけれども「E(s)=σ」は成り立たないかもしれない,というのがここでの議論の対象になっているのですね?

(3)が本当だとすると,そのうち私たち統計的方法のユーザーが学ぶ教科書もそのうち書き直されるようになるのでしょうか?
E(s^2)=(Σ(x-x')^2)/(n-1) 
E(s)=√(Σ(x-x')^2)/(n-1.5) というふうに・・・。

     [このページのトップへ]


53. Re^8: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  竹澤邦夫  2000/09/19 (火) 13:39
竹澤(北陸農業試験場・研究技術情報科)です。

 (1)(2)はその通りだと思います。
(3)は,「E(s)=( E(s^2) )^(1/2)」とは限らない,
とした方がいいと思います。「s」は確率変数ですね。

>教科書もそのうち書き直されるようになるのでしょうか?

 私はその方がいいと思います。

     [このページのトップへ]


56. Re^9: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  ???  2000/09/19 (火) 17:34
>
> >教科書もそのうち書き直されるようになるのでしょうか?
>
>  私はその方がいいと思います。

 詳しいシミュレーションのデータは,先日見せていただきましたが,これはそのようなおおげさな話しではないと思います.

 大学で使った教科書か何かをもう一度見直されたらいかがでしょうか.統計学の応用に関する参考書であっても,いろいろな本に標本SDと不偏SDのことは,書いてあると思います.

     [このページのトップへ]


62. Re^10: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  マンボウ  2000/09/19 (火) 22:27
>  大学で使った教科書か何かをもう一度見直されたらいかがでしょうか.統計学の応用に関する参考書であっても,いろいろな本に標本SDと不偏SDのことは,書いてあると思います.

既存の統計学の教科書で(特に大学で使用する程度の教科書で),「不偏標準偏差を求めるときには,変動を n-1.5 で割り,しかる後にその平方根を取るべし」なんて書いてある教科書,そんなにたくさんありますか?この掲示板で挙がっているもの(一冊だけ)の他に,養賢堂(?)とかいう書店から出ていた分厚い本にそんなことが書いてあった記憶があります。

不偏ではない旨の記述はチョイチョイみかけましたが。

# 「思います」ということなので,私も「そんなにたくさんありますか」と質問だけしておきます

     [このページのトップへ]


74. Re^11: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  ???  2000/09/20 (水) 07:59

> 既存の統計学の教科書で(特に大学で使用する程度の教科書で),「不偏標準偏差を求めるときには,変動を n-1.5 で割り,しかる後にその平方根を取るべし」なんて書いてある教科書,そんなにたくさんありますか?この掲示板で挙がっているもの(一冊だけ)の他に,養賢堂(?)とかいう書店から出ていた分厚い本にそんなことが書いてあった記憶があります。


  不思議ですね.
 「養賢堂(?)・・・分厚い本」というのは,たぶん,生物・農業関係の「応用統計ハンドブック」のことだろうと思います.高価な本なので持っていないのですが,そうすると,その分野に近い専門家であろう,竹澤氏やかぶとむし氏は,その本を読んでいないのですかね?

     [このページのトップへ]


80. Re^12: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  かぶとむし  2000/09/20 (水) 11:02
>   不思議ですね.
>  「養賢堂(?)・・・分厚い本」というのは,たぶん,生物・農業関係の「応用統計ハンドブック」のことだろうと思います.高価な本なので持っていないのですが,そうすると,その分野に近い専門家であろう,竹澤氏やかぶとむし氏は,その本を読んでいないのですかね?

名指しでお叱りを受けてしまいました。持っておりますよ「応用統計ハンドブック」は。800ページを越える大書ですが,これに関する記述は7行ですが・・・(隅々まで暗唱しているわけではないので他の箇所にもあるかもしれない)。実を言うと,この掲示板で議論になるまで「√s^2が母標準偏差の不偏推定量ではない」ということの意味がよくわかっていませんでした。勉強する機会が得られてとてもうれしい。ありがとうございます。

     [このページのトップへ]


73. Re^11: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  ???  2000/09/20 (水) 07:54
> 既存の統計学の教科書で(特に大学で使用する程度の教科書で),「不偏標準偏差を求めるときには,変動を n-1.5 で割り,しかる後にその平方根を取るべし」なんて書いてある教科書,そんなにたくさんありますか?

 「n-1.5」というような雑な記述は,確かに少ないでしょうね.nの値ごとに,修正係数を示している場合が多いのではないでしょうか.


>
> # 「思います」ということなので,私も「そんなにたくさんありますか」と質問だけしておきます

 根拠のない発言はしませんよ.統計「ユーザー」ということが出ていましたから,応用的な統計学の入門書を二つあげておきましょう.「教育と心理のための推計学」(岩原信九朗),「生物統計学入門」(石居進).いずれも30刷前後の版を重ねている古くからの参考書です.

     [このページのトップへ]


79. Re^12: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  かぶとむし  2000/09/20 (水) 10:53
> 応用的な統計学の入門書を二つあげておきましょう.「教育と心理のための推計学」(岩原信九朗),「生物統計学入門」(石居進).

友人が所有していたので,該当個所を参照しました。「nが10以下の場合は係数cで除して補正する」ことが書かれていますが,こういったことはSASやSPSSなどの統計パッケージではどのように扱われているのかご存じでしたら教えて下さい。

     [このページのトップへ]


85. Re^13: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  竹澤邦夫  2000/09/20 (水) 14:35
竹澤(北陸農業試験場・研究技術情報科)です。

 EXCEL2000の日本語版の「STDEV」という関数には(n-1)が使われていて,解説として,「標準偏差は,非バイアス法または n-1 法を使って計算されます。」と書かれています。

     [このページのトップへ]


88. Re^14: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  かぶとむし  2000/09/20 (水) 17:45
> 竹澤(北陸農業試験場・研究技術情報科)です。
>
>  EXCEL2000の日本語版の「STDEV」という関数には(n-1)が使われていて,解説として,「標準偏差は,非バイアス法または n-1 法を使って計算されます。」と書かれています。

SASではどのように扱われているかご存じですか? ご存じでしたらお教え下さい。「使用法ガイド」を見てみましたがよくわかりませんでした。

     [このページのトップへ]


90. Re^15: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  青木繁伸  2000/09/20 (水) 19:22
> SASではどのように扱われているかご存じですか? ご存じでしたらお教え下さい。「使用法ガイド」を見てみましたがよくわかりませんでした。

私は SAS も SPSS も使わないので,わかりませんが,

簡単なテストデータをつくって,それを電卓で計算したものと SAS の結果を比べてみればすぐにわかるでしょう。

1,2,3,4,5 の5個のデータにおいて,
n-1 で割って平方根を取った場合 1.58113883
n-1.5 で割って平方根を取った場合 1.690308509

そういう質問じゃないとか...

     [このページのトップへ]


94. Re^16: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  かぶとむし  2000/09/21 (木) 10:58
> 簡単なテストデータをつくって比べてみればすぐにわかるでしょう。
data a;
input x;
cards;
1
2
3
4
5
;
proc means data=a std;
run;
とした結果は
Std Dev
------------
1.5811388
------------
でした。

     [このページのトップへ]


93. Re^16: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  かぶとむし  2000/09/21 (木) 10:39
> 簡単なテストデータをつくって,それを電卓で計算したものと SAS の結果を比べてみればすぐにわかるでしょう。
>
> 1,2,3,4,5 の5個のデータにおいて,
> n-1 で割って平方根を取った場合 1.58113883
> n-1.5 で割って平方根を取った場合 1.690308509

なるほど! 早速やってみます。ありがとうございます。

     [このページのトップへ]


92. Re^16: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  竹澤邦夫  2000/09/21 (木) 08:27
竹澤(北陸農業試験場・研究技術情報科)です。

かぶとむし>SASではどのように扱われているかご存じですか? 

 以下のページによると(n-1)が使われているようです。

http://www.uri.edu/sasdoc/qc/chap40/sect11.htm#sconstruct

しかし,標準偏差,と書かれているだけで,不偏標準偏差,と書かれているわけではありません。

 ついでに書いておきますと,標本標準偏差という言葉はnで割った場合にも(n-1)で割った場合にも使われるようです。

     [このページのトップへ]


95. Re^17: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  青木繁伸  2000/09/21 (木) 11:50
>  ついでに書いておきますと,標本標準偏差という言葉はnで割った場合にも(n-1)で割った場合にも使われるようです。

この件について,fpr で堀さんが書いた記事が見つかると思います。
標本分散と不偏分散という用語の使い方についての記事ですが。

英語で言うと,
sample variance, unbiased sample variance なのですが,日本語ではなぜか標本分散,不偏分散とする場合が多くてよけいに混乱するというような気がしますね。
標本分散,不偏標本分散とするのが正しいのでしょう。

それらの平方根を取ったものをどう呼ぶかですが,標本標準偏差はいいとして,不偏標本分散の平方根を取ったものを不偏標本標準偏差と呼ぶのは,今までのこの掲示板での議論を考えるとちょっとためらわれるかな?

     [このページのトップへ]


96. Re^18: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  竹澤邦夫  2000/09/21 (木) 13:06
竹澤(北陸農業試験場・研究技術情報科)です。

青木>英語で言うと,sample variance, unbiased sample variance なのですが,日本語ではなぜか標本分散,不偏分散とする場合が多くてよけいに混乱するというような気がしますね。標本分散,不偏標本分散とするのが正しいのでしょう

 英語でも用語が統一されているとは言えないように思います。
例えば以下では,(n-1)で得られる値を「sample variance」と呼んでいます。

http://www.math.uah.edu/stat/sample/sample4.html


日本語の場合はというと,「データ解析言語S」(坪井信孝 著,科学技術出版)では,(n-1)で割って得られるものを分散と定義し,この分散の正の平方根を標本標準偏差と呼んでいます,そして,標本標準偏差は標準偏差の不偏推定量ではないことが書かれています。

     [このページのトップへ]


97. Re^19: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  青木繁伸  2000/09/21 (木) 13:11
ちなみに,前の発言でふれた堀先生の記事は,以下にあります。

http://www.nuis.ac.jp/~mat/fpr/fpr1998/0333.html
[fpr 1201] 標本分散,不偏分散および標準偏差の呼び方

     [このページのトップへ]


99. Re^20: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  竹澤邦夫  2000/09/21 (木) 13:56
竹澤(北陸農業試験場・研究技術情報科)です。

> ちなみに,前の発言でふれた堀先生の記事は,以下にあります。
> http://www.nuis.ac.jp/~mat/fpr/fpr1998/0333.html
> [fpr 1201] 標本分散,不偏分散および標準偏差の呼び方

URLを示していただきしてありがとうございます。

 標本標準偏差という言葉はあまり使われていない,ということのようですね。
 これだけ用語が混乱しているとなると,用語の定義をできるだけ数式で示す,という平凡な手段しかないような気がします。

     [このページのトップへ]


111. Re^21: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  ???  2000/09/22 (金) 07:48
> > http://www.nuis.ac.jp/~mat/fpr/fpr1998/0333.html
> > [fpr 1201] 標本分散,不偏分散および標準偏差の呼び方
>
> URLを示していただきしてありがとうございます。
>
>  標本標準偏差という言葉はあまり使われていない,という
> ことのようですね。

 用語の細かいことには興味がないのですが,この部分は誤解を与えかねないので少し書きます.

 こういうとき,日本語に関して私が参考にするのは,多くの分野の統計学者が参加して書いている「統計学辞典」(竹内啓編集代表,1989)です.その記号表では,「s」を「標本標準偏差」と定義しています.「s^2」が,「標本不偏分散」です.

 それに加えて,あなたに関係の深いであろう生物・農業関係の最も定評のある古典はスネデカーの本だと思いますが,第6版(岩波書店)の訳語は原語の直訳「標本標準偏差」で統一されています.

     [このページのトップへ]


57. Re^10: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  竹澤邦夫  2000/09/19 (火) 18:29
竹澤(北陸農業試験場・研究技術情報科)です。

>これはそのようなおおげさな話しではないと思います.

 私が言っているのは,不偏標準偏差を求めるためには(n-1.5)を使う,という話はこれまでのどの文献にも載っていない,ということではありません。(n-1)を使っている文献やパソコンソフトがかなりあるので,それは,単に計算の結果が少しずれる,という点だけではなく,不偏推定量に対する理解という点でも好ましくないように思います,ということです。

     [このページのトップへ]


58. Re^11: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  ???  2000/09/19 (火) 20:46
> 竹澤(北陸農業試験場・研究技術情報科)です。
>
> >これはそのようなおおげさな話しではないと思います.
>
>  私が言っているのは,不偏標準偏差を求めるためには(n-1.5)を使う,という話はこれまでのどの文献にも載っていない,ということではありません。(n-1)を使っている文献やパソコンソフトがかなりあるので,それは,単に計算の結果が少しずれる,という点だけではなく,不偏推定量に対する理解という点でも好ましくないように思います,ということです。

 これらは,「不偏標準偏差」として示しているのではありません.不偏分散の正の平方根という意味の「標本標準偏差」として示しているのです.だから,問題はありません.それを不偏推定量だと誤解する人がいれば別ですが.

     [このページのトップへ]


61. Re^12: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  マンボウ  2000/09/19 (火) 22:22
>  これらは,「不偏標準偏差」として示しているのではありません.不偏分散の正の平方根という意味の「標本標準偏差」として示しているのです.だから,問題はありません.それを不偏推定量だと誤解する人がいれば別ですが.

そうなんですか。おおいに疑問ですね。

そのような誤解をしない人は,そもそも,√不偏分散が不偏標準偏差かどうかなんてこと自体を考えていないだけなんだと思います。
というか,考える必用があるかないかすら分かっていない(というか,考えたこともない)。

# だからといって,不偏標準偏差が必用かどうかは別問題でしょうけどね!!

それに,そもそも,このスレッドの最初の方で,
  中原さん曰く「不偏分散の平方根をとっても,それは母標準偏差の不偏推定量ではないということは,あまり知られていないかもしれない。」
ということから始まっているんでしょ?

「既存の統計学の教科書では,不偏分散の平方根を【標準偏差】と定義しているだけで,それが不偏だなんて言っていない」というあなたの議論とは別のものではないでしょうか。

     [このページのトップへ]


82. Re^13: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  ???  2000/09/20 (水) 12:01
> そのような誤解をしない人は,そもそも,√不偏分散が不偏標準偏差かどうかなんてこと自体を考えていないだけなんだと思います。
> というか,考える必用があるかないかすら分かっていない(というか,考えたこともない)。

 これは,言いすぎですね.この掲示板などを見ている,統計的方法に関心を持って勉強している人たちに失礼でしょうね.

> # だからといって,不偏標準偏差が必用かどうかは別問題でしょうけどね!!

 統計的な検定や推測にあたっては,不偏SDは重要な統計量ではありませんよ.記述統計学の統計量としては,不偏SDを示す場合もあるという程度の話しではありませんか.

>それに,そもそも,このスレッドの最初の方で,中原さん曰く「不偏分散の平方根をとっても,それは母標準偏差の不偏推定量ではないということは,あまり知られていないかもしれない。」ということから始まっているんでしょ?

 2回の発言以降,沈黙されているようですから,ご本人の発言の意図は,よくわかりません.

     [このページのトップへ]


83. Re^14: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  中原  2000/09/20 (水) 12:47
> >中原さん曰く「不偏分散の平方根をとっても,それは母標準偏差の不偏推定量ではないということは,あまり知られていないかもしれない。」
> ということから始まっているんでしょ?
>
>  2回の発言以降,沈黙されているようですから,ご本人の発言の意図は,よくわかりません.

沈黙しようとどうしようと,発言意図などと大げさなものではないでしょう。
書いてある通りのことを言いたかっただけです。

     あまり知られていないかもしれない。

その指摘だけです。だから知らせようとか,そんなことは考える必要がないのだろうとか,価値判断とかそれに基づくような提言などはしてません。

     [このページのトップへ]


78. Re^13: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  かぶとむし  2000/09/20 (水) 10:45
> そのような誤解をしない人は,そもそも,√不偏分散が不偏標準偏差かどうかなんてこと自体を考えていないだけなんだと思います。
> というか,考える必用があるかないかすら分かっていない(というか,考えたこともない)。

現実にそういう人がここにいます。私です。私たちは,実験計画法を参照しながら農業分野の実験を行いデータを採取します。とれたデータは,これまた実験計画法をもとに解析しその意味を解釈します。つまり,統計的方法は道具でしかありません。車に乗る多くの人がオートマチックトランスミッションの構造やその工学的理論など考えていない(と思う)のと同じじゃないでしょうか? 間違ってますか?

> 「既存の統計学の教科書では,不偏分散の平方根を【標準偏差】と定義しているだけで,それが不偏だなんて言っていない」というあなたの議論とは別のものではないでしょうか。

私の持っている本には,「標準偏差sを2乗した分散も(バラツキの程度を示す方法として)よく用いられる」と書かれています。標準偏差が先にあり,それを2乗して分散を求めるという論理ですね。

     [このページのトップへ]


76. Re^13: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  竹澤邦夫  2000/09/20 (水) 08:35
竹澤(北陸農業試験場・研究技術情報科)です。

 先日,以下のWWWページを御紹介しました。

http://psyc.queensu.ca/~flanagan/202_1999/lecture5/lecture5.html

このページの著者に問い合わせましたところ,多くの文献やパソコンソフトの不偏標準偏差の計算で,(n-1)が使われているのでそれに従った,という返事でした。
 繰り返しになりますが,(n-1.5)が紹介されている文献がどこにもない,と主張しているわけではありません。

     [このページのトップへ]


75. Re^13: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  ???  2000/09/20 (水) 08:30
>「既存の統計学の教科書では,不偏分散の平方根を【標準偏差】と定義しているだけで,>それが不偏だなんて言っていない」というあなたの議論・・・

 これは,あなたの思い込みですね.371〜373の文章を読み違えていませんか.

 まず,「既存の統計学の教科書」の中でも,不偏SDと標本SDの使い分けは説明されているということを371に書きました.

 次に,「(n-1)を使っている文献やパソコンソフト」(372)は,不偏SDではなく,標本SDとして統計的な検定や推定に利用しているのであるから「問題はありません」と,私は373で発言したのです.

 以上,いずれも,冒頭のあなたの「 」書きの文とは,意味がかなり違うのではありませんか.

     [このページのトップへ]


77. Re^14: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  竹澤邦夫  2000/09/20 (水) 10:05
竹澤(北陸農業試験場・研究技術情報科)です。

 以下のWWWページで「Chapter 1: Kinds of Data」として配布されているPDF文書の8ページでも,不偏標準偏差の計算に(n-1)が使われています。

http://oceanography.geol.ucsb.edu/Support/materials/Geological_Data_Analysis/Index.html

「応用統計ハンドブック」には(n-1.5)ではなく,(n-1)を使った場合に対する補正係数が書かれています。

     [このページのトップへ]


54. Re^9: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  かぶとむし  2000/09/19 (火) 13:56
> 竹澤(北陸農業試験場・研究技術情報科)です。
> (3)は,「E(s)=( E(s^2) )^(1/2)」とは限らない,
> とした方がいいと思います。「s」は確率変数ですね。

ありがとうございます。なんだかこのHPはとても勉強になります(難しいけれど・・・)。

> >教科書もそのうち書き直されるようになるのでしょうか?私はその方がいいと思います。

すごい話のように思えますが,先の「(n-1.5)で割る」という1.5という数値はどこから出てきたのでしょう? 以前お書きになっていたシミュレーションから得られた値なのですか? それとも数学的な裏付けのある値なのでしょうか?

     [このページのトップへ]


125. Re^10: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  みわ  2000/09/24 (日) 19:15
> すごい話のように思えますが,先の「(n-1.5)で割る」という1.5という数値はどこから出てきたのでしょう? 以前お書きになっていたシミュレーションから得られた値なのですか? それとも数学的な裏付けのある値なのでしょうか?

E[s] = c(n)σ とおくと,元のデータが正規分布のとき,

c(n) = sqrt{ 2/(n-1) Γ(n/2)^2 / Γ((n-1)/2)^2 }
(Γ(x) はガンマ関数)

となります。したがって,偏差平方和を (n-1) で割るのではなく,

d(n) = 2 Γ(n/2)^2 / Γ((n-1)/2)^2

で割って平方根を取れば,母標準偏差の不偏な推定値が得られます。d(n) を 1/n で展開すると,

d(n) = n { 1 - 3/(2n) + 1/(8 n^2) + o(1/n^2) }

となり,第3項め以降は極めて小さいので,まあ,n-1.5 で割ればよいと思います。

     [このページのトップへ]


64. Re^10: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  マンボウ  2000/09/19 (火) 22:34
> すごい話のように思えますが,先の「(n-1.5)で割る」という1.5という数値はどこから出てきたのでしょう? 以前お書きになっていたシミュレーションから得られた値なのですか? それとも数学的な裏付けのある値なのでしょうか?

シミュレーションから導かれたものとは違います。

この掲示板の過去ログ,
http://aoki2.si.gunma-u.ac.jp/lecture/mb-arc/arc008/302.html#304
に,出典が挙げられていたので,それをシミュレーションで確かめたというだけのことです。
数学的な裏付けがあるかどうかは,私には判断できませんでした。

     [このページのトップへ]


55. Re^10: 分散と不偏分散の違いとは?標準偏差の求め方について教えてください。  竹澤邦夫  2000/09/19 (火) 15:06
竹澤(北陸農業試験場・研究技術情報科)です。

>すごい話のように思えますが,先の「(n-1.5)で割る」という1.5という数値はどこから出てきたのでしょう? 以前お書きになっていたシミュレーションから得られた値なのですか? それとも数学的な裏付けのある値なのでしょうか?

 「(n-1.5)で割る」を自力で数学的に明らかにすることもできず,文献も見つからず,やむを得ず,数値シミュレーションを行った,という次第です。
 ふと思ったのですが,不偏分散を求めるときに,(n-1)で割る理由としてデータの平均を平均値として使うので自由度が一つ減るから,というようなことがよく書かれていますが,これでは,不偏標準偏差のときも(n-1)で割るべき,という気分になってしまいますから,やや不親切な説明のように思われます。

     [このページのトップへ]


● 「統計学関連なんでもあり」の過去ログ--- 010 の目次へジャンプ
● 「統計学関連なんでもあり」の目次へジャンプ
● 直前のページへ戻る