多重共線性を避けるように注意が必要であるほか，多くの独立変数から有用な少数個の独立変数を精選して重回帰式を作ることが重要になることもある。理論的基盤があるときはそれに従って独立変数を選択することが可能であるが，探索的に行うためには「総当たり法」や，以下に示すような変数の選択法がある。

変数増加法

最初に最も予測に有効な独立変数（ 従属変数との相関係数が最も大きいもの ）を重回帰式に取り入れる。次の段階では，残りの独立変数の中で最も予測に有効な独立変数を取り入れる。予測精度の改善が一定限度以上である間，この操作を繰り返す。

変数減少法

最初に全ての独立変数を含む重回帰式を作る。次に，その中から最も予測に有効でない独立変数を除去する。予測精度の低下が一定限度以内である間，この操作を繰り返す。

変数増減法

変数増加法では，いったん重回帰式に取り込まれた独立変数は除去されることはないが，後の段階になってそれまでに取り込まれた独立変数の重要性が低くなることがある。変数増減法は各段階で変数を追加した後で除去すべき独立変数がないかをチェックする。

変数減増法

最初に全ての独立変数を含む重回帰式を作る。その後に続く各段階では，まず既に重回帰式に取り入れられている独立変数の中から最も予測に有効でない独立変数を除き，取り入れられていない独立変数の中に取り入れるべきものがないかをチェックする。

　独立変数の追加・除去の基準としては，各変数の偏 $F$ 値に基づく $F_{in}$，$F_{out}$，それを有意確率に換算した$P_{in}$，$P_{out}$ がある。いずれも，各独立変数の偏回帰係数の有意性検定と関連しており，後者で例えば $P_{in} = P_{out} = 0.05$ を指定するということは，最終的な重回帰式に含まれる全ての独立変数の偏回帰係数が $0$ であるという帰無仮説が有意水準 $5\%$ で棄却されるということを意味する。

演習問題：

応用問題：