「統計学関連なんでもあり」の過去ログ---005

★ 標準偏差の求め方。 ★

　252　標準偏差の求め方。　　kyarako　　2000/01/19 (水) 11:41
　　254　Re: 標準偏差の求め方。　　青木繁伸　　2000/01/19 (水) 14:03
　　　256　Re^2: 標準偏差の求め方。　　kyarako　　2000/01/19 (水) 15:05
　　　　257　Re^3: 標準偏差の求め方。　　青木繁伸　　2000/01/19 (水) 17:45
　　　　　299　Re^4: 標準偏差の求め方。　　kyarako　　2000/01/20 (木) 20:54

252.　標準偏差の求め方。　　kyarako　　2000/01/19 (水) 11:41

普通，標準偏差といわれているときは，n個のデータ:ci，データの平均:c1，
σ=(Σ(ci-c1)^2/(n-1))
だと思うのですが，これは例えば，最小二乗法で近似した直線と元のデータとの差(d)を今で言うところのciにあたるとしたときは，そのまま，当てはまるのでしょうか?
二乗して，近似しているのだから，ciには，d^2をいれるのでしょうか?
また，最小二乗法の二乗部を絶対値にした，最小絶対値法(前に自分が書いた質問を読んでいる人は，分かると思うが)で，近似した直線と，元のデータとの差(e)をciにあたるとしたときは，式が
σ=(Σ|ci-c1|/(n-1))
となるのでしょうか?もちろんci=|e|だとは思いますけど…。

　　　　　[このページのトップへ]

254.　Re: 標準偏差の求め方。　　青木繁伸　　2000/01/19 (水) 14:03

> 普通，標準偏差といわれているときは，n個のデータ:ci，データの平均:c1，
> σ=(Σ(ci-c1)^2/(n-1))
> だと思うのですが，これは例えば，最小二乗法で近似した直線と元のデータとの差(d)を今で言うところのciにあたるとしたときは，そのまま，当てはまるのでしょうか?

従属変数を y その予測値を y' としたとき，
Σ(y-y')^2 は残差平方和，それを「データの個数-独立変数の個数-1」で割ったものは残差分散（誤差分散）というものになります。y'=ax+b のように直線（独立変数が1個）の場合には，Σ(y-y')^2/(n-2) が残差分散ですね。
これと「回帰による分散」を使って，分散分析表が作られます。

いろいろ新たな試みをするのはいいことだと思いますが，たいていのことは既に先人が試しており，有用なモノしか今に伝えられていないということもあります。新たな手法を確立するのは難しいかと思います。

　　　　　[このページのトップへ]

256.　Re^2: 標準偏差の求め方。　　kyarako　　2000/01/19 (水) 15:05

> いろいろ新たな試みをするのはいいことだと思いますが，たいていのことは既に先人が試しており，有用なモノしか今に伝えられていないということもあります。新たな手法を確立するのは難しいかと思います。

私も，そう思いますし，数学を専攻したわけではないので，そんなつもりもありません。
ただ，自分達がやっているデータ処理の方法として，最小二乗法近似をしていて，データが，その直線より離れているものを，取るために，3σ，2σという計算をするので，そこで，つまづいたわけです。

結局，これ(n個のデータ:ci，データの平均:c1，σ=(Σ(ci-c1)^2/(n-1)))
であってますか?
あっているなら，最小二乗法で近似した直線と元のデータとの差(di)を今で言うところのciにあたるとしたときは，そのまま，当てはまるのでしょうか?（ci=diなのかci=di^2)

　　　　　[このページのトップへ]

257.　Re^3: 標準偏差の求め方。　　青木繁伸　　2000/01/19 (水) 17:45

> 自分達がやっているデータ処理の方法として，最小二乗法近似をしていて，データが，その直線より離れているものを，取るために，3σ，2σという計算をするので，そこで，つまづいたわけです。

やろうとしていることは，独立変数 x がある値のとき，予測値を y=ax+b で計算したとき，予測値には幅があるだろう。予測値±幅の範囲外にあるものは異常値なので取り除きたい....
そういうことですか?

もしそうだとすると，回帰直線の信頼限界帯というのがありますから，それを検討してみたらいかがですか。
http://aoki2.si.gunma-u.ac.jp/Hanasi/StatTalk/simple-reg.html

　　　　　[このページのトップへ]

299.　Re^4: 標準偏差の求め方。　　kyarako　　2000/01/20 (木) 20:54

> やろうとしていることは，独立変数 x がある値のとき，予測値を y=ax+b で計算したとき，予測値には幅があるだろう。予測値±幅の範囲外にあるものは異常値なので取り除きたい....
> そういうことですか?
えーっと，データを，与えられている点(データ)の平均値(m)±3σの範囲外のものを異常値として，チェックしたいのです。
聞かれていることと，自分が言ってる事は，同じでしょうか?
まぁ，データの分布が正規分布に近ければ，この方法を使うのが，適当だと思いますけど…。
今は，正規分布しているものとして，考えて…。

　　　　　[このページのトップへ]