「統計学関連なんでもあり」の過去ログ--- 042

No.10478　異常値の除去　　【kc】　2009/07/27(Mon) 10:19

はじめまして

統計学のHPを検索していたところ，この頁を発見したので
今，悩んでる件について，質問したいと思います。

それは，異状値の除去です。

管路のこう配を調査機で検査して，データを取得します。

そのデータは，距離と角度
例は下記のようになります。

1.11 0.840666115 2009/7/17 15:20
1.12 0.92262578 2009/7/17 15:20
1.13 1.04025054 2009/7/17 15:20
1.14 1.149529934 2009/7/17 15:20
1.16 0.760498524 2009/7/17 15:20
1.17 0.376228452 2009/7/17 15:20
1.19 3.25E-02 2009/7/17 15:20
1.21 4.09E-02 2009/7/17 15:20
1.22 0.107400954 2009/7/17 15:20
1.24 7.02E-02 2009/7/17 15:20
1.27 7.08E-02 2009/7/17 15:20
1.29 0.131595224 2009/7/17 15:20
1.31 0.605168879 2009/7/17 15:20
1.33 0.814591885 2009/7/17 15:20
1.36 1.10894382 2009/7/17 15:20
1.39 1.125882149 2009/7/17 15:20
1.42 1.200891256 2009/7/17 15:20

管路は，2.43mの長さの管をつなげていきますので，角度が一部的に大きく跳ね上がるのは考えられません。
調査機の，土砂の乗り上げや，計測器の不正データになるはずです。
上の例でいくと，1.19m　付近

こういうデータが，100m存在するのですが，
統計学的に，異状値を取り除き，こう配図を描きたいです。

異状値を，数学的に取り除くのは，どうすればよいのでしょうか？

No.10480　Re: 異常値の除去　　【surg】　2009/07/27(Mon) 11:08

「1.19m　付近」には「一部的に大きく跳ね上がる」ような数値は見当たらないのですが・・・

3.25E-02 = 0.0325 ですよ．

No.10481　Re: 異常値の除去　　【kc】　2009/07/27(Mon) 11:17

すみません，データの場所をまちがえました。

例えば，一部の場所だけデータが跳ね上がったりした時は
どういう対応がよいのででしょうか？

設計上では，始点から終点までは，0.5度と
なっていても，図を描くと曲線になったりします。

全体の平均とは意味が違うので困惑しています。

No.10483　Re: 異常値の除去　　【青木繁伸】　2009/07/27(Mon) 11:33

この場合の測定値は特定の分布（特に正規分布）に従っているわけではないので，図を描いて目で見て異常値を除く方がよいと思います。人間の目は，こういうチェックは得意ですから。