作業仮説から帰無仮説と対立仮説が決められ，調査デザインに合った検定法が選択されると，次に決定すべきものは，有意水準である。

　調査データに基づいて，帰無仮説が正しいという条件のもとで，ある検定統計量が計算されると，その統計量の分布は理論的に求められる。

　パラメトリックな手法においては，例えば $t$ 分布，$\chi^2$ 分布，$F$ 分布，正規分布がその代表的なものである。
　ノンパラメトリックな手法においては，帰無仮説の下で生ずる全ての場合を数え上げることによりその分布が定められることが多い。

　いずれの場合でも，ある 1 回の調査により得られたデータから統計量を計算し， その値以上の統計量が得られる確率（これを 有意確率 または $P$ 値 という）を求めることがその本質である。

　もし，有意確率がある値より小さければ，“$H_0$ が正しい”ということが疑わしくなる。 ひいては $H_1$ の正当性が支持されることになる。

　では，どの程度に小さければ $H_0$ を棄却（$H_1$ を採択）できるかという基準が 有意水準 と呼ばれるものである。これを $\alpha$ で表す。

　通常 $\alpha$ としては $0.05$，$0.01$，$0.001$ のいずれかが用いられる。 $\alpha = 0.05$ というのは，同じような状況下で検定を行うと $20$ 回に $1$ 回は決定を誤る危険性があることを意味する。 あるいは，$1$ 回の決定で $H_0$ が正しいにもかかわらず誤って $H_0$ を棄却する確率が $0.05$ であるということである。

　この誤りを 第 $1$ 種の過誤 と呼び，この誤りを犯す 危険率 と呼ぶこともある。

演習問題：

応用問題：