「統計学関連なんでもあり」の過去ログ--- 039

No.00977　任意直線とデータの一致度　　【aqua】　2006/08/25(Fri) 18:42

回帰直線と元のデータとの一致度として，決定係数 R^2 がよく使われると思います。
これに対して，最小二乗法で求めた回帰直線ではなく，
任意の直線がデータとどの程度一致しているかを表すよい指標はないでしょうか？

0～1 の値を取り，直線が最小二乗法で求めた回帰直線と同じ時には
極大値 R^2 になるような指標があれば一番よいのですが…

No.00983　Re: 任意直線とデータの一致度　　【にゃんちゅう】　2006/08/27(Sun) 03:45

最小2乗法で求めるもとの式をしってますか？

No.00984　Re: 任意直線とデータの一致度　　【aqua】　2006/08/27(Sun) 23:33

> 最小2乗法で求めるもとの式をしってますか？

今回特に必要なのは y = ax です。
例えば，最小二乗法で求めた直線の元のデータに対する一致度が 80% で，
任意の y = a'x の一致度は 80% 以下になるような指標が欲しいということです。
もしくは，より一般に y = ax + b の形で考えて，
最小二乗法で求めた直線の元のデータに対する一致度が 90% で，
任意の y = a'x + b' (b'は 0 も可) の一致度は 90% 以下になるような指標でも構いません。

No.00985　Re: 任意直線とデータの一致度　　【ひの】　2006/08/28(Mon) 00:23

なんだか話が通じていませんね。
通常の線形回帰における直線の式と決定係数の式の関係が分かっていれば直線の式の形が変わっても同等の係数の求め方が導けるでしょう，というのがにゃんちゅうさんの言わんとするところだと思うのですが。

No.00991　Re: 任意直線とデータの一致度　　【aqua】　2006/08/28(Mon) 18:35

> 通常の線形回帰における直線の式と決定係数の式の関係が分かっていれば直線の式の形が変わっても
> 同等の係数の求め方が導けるでしょう，というのがにゃんちゅうさんの言わんとするところだと思うのですが。

決定係数については以下のように理解しています。
y = ax + b に対して，
R^2 = (元のデータの相関係数)^2 … (1) (a, b に依存しない定数)
または
R^2 = 1 - 残差の二乗和 / (y - yの平均)の二乗和 … (2) (a, b の関数)
で，最小二乗法で求められた a, b に対して (1) と (2) は一致する。
すなわち，(2) の放物面の極大値が (1) と等しい。
また，原点を通る直線 y = ax を最小二乗法で求めた場合の決定係数は
R^2 = yの予測値の二乗和 / yの二乗和 … (3) (a の関数)
または
R^2 = 1 - 残差の二乗和 / yの二乗和 … (4) (a の関数)
で，最小二乗法で求められた a に対して (3) と (4) は一致する。
すなわち，(3) の放物線が (4) の放物線の極大値を通る。
なお (3)，(4) は (1)，(2) とは単純比較できない。
(以上，独学なので間違っていたらご指摘下さい)

上記を踏まえて，例えば任意の直線 y = a'x + b' に対して単純に (2) を一致度の指標に採用すると，
(2) が上に凸の放物面なので負の値も取ってしまい都合が悪いのです。
なので，決定係数以外に一致度の良い指標は無いだろうかと思い質問した次第です。

説明が下手ですみません…

No.00992　Re: 任意直線とデータの一致度　　【通りすがり】　2006/08/28(Mon) 20:11

何に使いたいのかを説明したほうが有益な回答が得られると思いますよ。

＞0～1 の値を取り，直線が最小二乗法で求めた回帰直線と同じ時には
＞極大値 R^2 になるような指標があれば一番よいのですが…

こういう指標が欲しければ，作ればいいんじゃないですかね？

No.00993　Re: 任意直線とデータの一致度　　【aqua】　2006/08/28(Mon) 21:31

> 何に使いたいのかを説明したほうが有益な回答が得られると思いますよ。

抽象的ではありますが，以下のような用途です。
ある測定データへの直線の当てはめ(最小二乗解が初期値)をユーザが微調整でき，
決定した直線がその後の動作に影響を与えるアプリケーションがあります。
当てはめの際に，直線が元のデータから離れすぎるのは問題なので，
ユーザが参照できる数値的な指標が欲しいと考えています。
ユーザの理解のし易さから 0～1 の範囲の指標が望ましいのです。

> こういう指標が欲しければ，作ればいいんじゃないですかね？

都合の良い指標がすでにないだろうかと思って質問しました。
結局自分で作るしかなさそうですね…

No.01002　Re: 任意直線とデータの一致度　　【にゃんちゅう】　2006/08/29(Tue) 14:47

> 結局自分で作るしかなさそうですね…
結局　最小2乗法がなにから計算しようとしたかわかってないのですね。
つくるならつくってください。

No.01004　Re: 任意直線とデータの一致度　　【aqua】　2006/08/29(Tue) 18:45

> 最小2乗法で求めるもとの式をしってますか？
> 結局　最小2乗法がなにから計算しようとしたかわかってないのですね。

すみません，いまいち問われていることが分からないのですが，正規方程式のことですか？
それとも測定データが理論上従うであろう式のことですか？
はたまた誤差の二乗和のことを仰っていますか？？