「統計学関連なんでもあり」の過去ログ---035

★ 回帰木の枝狩りのエラーについて ★

8174.　回帰木の枝狩りのエラーについて　tara　2005/11/02 (水) 19:29
└8180.　Re: 回帰木の枝狩りのエラーについて　kzkishi　2005/11/04 (金) 11:01
　└8181.　Re^2: 回帰木の枝狩りのエラーについて　tara　2005/11/04 (金) 16:11

8174.　回帰木の枝狩りのエラーについて　tara　　2005/11/02 (水) 19:29

回帰木(Regression Trees)を用いてモデル化を行っています。
事後枝狩り(reduced-error-pruning)は「終端ノードのエラーが減少していない場合，その終端ノードを刈る」事と認識しています。
分類木(Classification Trees)の場合，目的変数が「質的」である為エラーは一目瞭然ですが，回帰木の場合，目的変数が「量的」である為，何をエラーとしているのでしょうか。
ご存知の方がいらっしゃいましたら，よろしくお願いします。

　　　　　[このページのトップへ]

8180.　Re: 回帰木の枝狩りのエラーについて　kzkishi　　2005/11/04 (金) 11:01

読みかじりの知識ですが…。

使っているアルゴリズムによって違うと思いますよ。

C4.5/5.0/see5.0ではルールベースの刈り込みを行うそうで，それだと

>「終端ノードのエラーが減少していない場合，その終端ノードを刈る」

という訳でもないようです（分岐に用いている変数同士をノード間で比較して刈り込み）。

他のアルゴリズムだったら，多くは分岐基準と同じ（というか逆）なのでは？
交差検証のデータで，ノード内の目的変数の分散が大きいものを刈り込み，ではないかと。

　　　　　[このページのトップへ]

8181.　Re^2: 回帰木の枝狩りのエラーについて　tara　　2005/11/04 (金) 16:11

kzkishi様

返信ありがとうございます。

エラーは分散だろうという情報ありがとうございます。
自分でももうしばらくソースを読んで(フリーのツールを使っているので)調べてみたいと思います。

　　　　　[このページのトップへ]