一致性，有効性，十分性を満たす最適推定量は，最尤法 により求めることができる。

　母数が $\theta$ である母集団 $f ( \mathbf{x}\ |\ \theta )$ から，$n$ 個の標本 $X_{1}, X_{2}, \dots , X_{n}$ が抽出されたとする。

　このとき，確率密度は（1）式で表せる。

\[ f(X_1 \ |\ \theta)\ f(X_2 \ |\ \theta)\ \cdots\ f(X_n \ |\ \theta) \tag{1} \] 　今までは，母数 $\theta$ を持つ母集団から抽出された一つの確率変数 $\mathbf{x}$ が $X$ という実現値をとるとして，$f ( \mathbf{x}\ |\ \theta )$ を $\mathbf{x}$ の関数と見てきたが，$\mathbf{x}$ が固定されていると考えれば （1）式は $\theta$ の関数とみなすこともできる。

　このとき，フィッシャーは（1）式を 尤度関数 と呼び，（2）式で定義される $\theta$ の取りうる種々の値に対する $L$ を $\theta$ の 尤度 と定義した。

\[ L = \prod_{i=1}^n f(X_i \ |\ \theta) = f(X_1 \ |\ \theta)\ f(X_2 \ |\ \theta)\ \cdots\ f(X_n \ |\ \theta) \tag{2} \] 　最尤法とは，$X_{1}, X_{2}, \dots, X_{n}$ を固定した場合に $\theta$ の尤度が最大になるように 最尤推定量 $\hat{\theta}$ を求めることである。

　最尤推定量は（2）式を $\theta$ で微分すれば求めることができる。 しかし，実際の計算では $L$ の対数をとった（3）式を用いる方が便利である。 $L$ の最大値を与える $\hat{\theta}$ を求めることは，（3）式の最大値を与える $\hat{\theta}$ を求めることと同じである。

\[ \log L = \sum_{i=1}^n \log \ f(X_i \ |\ \theta) \tag{3} \] 　なお，（2）式の $\theta$ の最尤推定量を $\hat{\theta}$ とおくと，$\sqrt{n}\ (\hat{\theta}-\theta)$ は，$n \to \infty$ のとき漸近的に正規分布 $\mathcal{N}\left (0,\ \displaystyle \frac{1}{I(\theta)} \right )$ に従う。ただし，$I(\theta)$ はフィッシャー情報量である。

演習問題−１：

　「ベルヌーイ試行によって $n$ 個の独立な標本を抽出した場合に母比率 $p$ の最尤推定量を求めよ。」

解答

演習問題−２：

　「正規母集団 $\mathcal{N} ( \mu ,\ \sigma^{2} )$ において，母平均 $\mu$，母分散 $\sigma^{2}$ の最尤推定値を求めよ。」

解答

応用問題：