統計手法のうち，母集団の分布について一切の仮定を設けないものをいう。このため，分布に関わらない手法（distribution-free method）とも呼ばれることもある。これに対するものとしてパラメトリックな手法がある。例えば，3 群以上の平均値の差の検定（$F$ 検定，一元配置分散分析）はパラメトリックな手法である。$F$ 検定は，（1）変数は正規分布する，（2）各群の分散は等しい という条件が満たされていなければならない。$F$ 検定は，（1）に対しては相当に頑健性を持つし，（2）に対してもかなり頑健性がある。条件（2）については，得られた標本をもとに分散の一様性の検定を行えばよいが，少数個の標本から得られる母数は一般に不安定なので，ケース数が少ない場合には問題が残る。$F$ 検定に対応するノンパラメトリックな手法は，3 群以上の代表値の差の検定（$H$ 検定，クラスカル・ウォリス検定）である。$H$ 検定では条件（1），（2）ともに不問にされる。一般に，母分布を仮定しない（できない）場合や少数例の場合にノンパラメトリックな手法が適用される。ノンパラメトリック手法は，パラメトリックな手法に比べて検出力が低いが，仮定が十分に満たされていないときにはノンパラメトリックな手法を採用すべきである。

パラメトリック・ノンパラメトリックな検定手法の対照表-1

	パラメトリックな手法	ノンパラメトリックな手法
対象とする統計量	平均値 分散 積率相関係数 --	代表値 散布度 関連性係数，順位相関係数 度数
尺度水準	間隔尺度，比例尺度	名義尺度，順序尺度 間隔尺度，比例尺度
母集団の分布型	正規分布を仮定 等分散性を仮定	不問
標本サイズ	小さすぎてはいけない	不問

パラメトリック・ノンパラメトリックな検定手法の対照表-2

検定目的	パラメトリック	ノンパラメトリック
		名義尺度	順序尺度以上
適合度	--	カイ二乗検定	カイ二乗検定 1 標本コルモゴロフ・スミルノフ検定
独立性	相関係数の検定	カイ二乗検定 フイッシャーの正確確率検定	カイ二乗検定 フイッシャーの正確確率検定
比率の差	--	カイ二乗検定 フイッシャーの正確確率検定 マクネマー検定 コクランの $Q$ 検定	カイ二乗検定 フイッシャーの正確確率検定 マクネマー検定 コクランの $Q$ 検定
母比率	--	二項検定	二項検定
対応のない2 標本の代表値の差	平均値の差の $t$ 検定	--	マン・ホイットニーの $U$ 検定 2 標本コルモゴロフ・スミルノフ検定 ファン・デル・ワーデン検定 中央値検定
対応のある 2 標本の代表値の差	平均値の差の$t$ 検定	--	符号検定 符号順位和検定
対応のない $k$ 標本の代表値の差	一元配置分散分析	--	クラスカル・ウォリス検定
対応のある $k$ 標本の代表値の差	乱塊法	--	フリードマンの検定

上の表にある個々の検定については，検定と推定を参照のこと。