線形判別ルールと最大尤度比ルールの優劣について

若木宏文

Date: 99.5.11, 数学教室談話会

分散共分散行列が等しい二つの多変量正規母集団、 $\Pi_1 : N_p(\mu_1, \Sigma), \Pi_2 : N_p(\mu_2, \Sigma)$への判別問題を考える。 $\mu_1, \mu_2, \Sigma$ は未知母数であり、これら （母集団)に関する情報として、母集団 $\Pi_i (i = 1, 2)$からの標本： $X_1^{(i)}, X_2^{(i)}, \cdots, X_{N_i}^{(i)}$が利用できるとする。X を$\Pi_1$または $\Pi_2$ から観測される変数とする。判別問題は、X の値と、各母集 団からの標本（参照標本と呼ぶ）の値に基づいて X が$\Pi_1$ と$\Pi_2$ のどちらから観測されたものかを判定する問題であ る。参照標本の値が与えられたとき、判別ルールを 構成する問題は、X の取り得る値の全体からなる集合、すなわち、p-次元 ユークリッド空間R^p を共通部分を持たない２つの 部分集合 R₁ と R₂ に分割する問題として表される。X の値がR₁に含まれるとき、X は$\Pi_1$ から観測されたもの と判定することで、判別ルールとR^p の部分集合 R₁ とは１対１に対応す る。 $R_2 = R^p \setminus R_1$ であるから、 判別ルールを、対応する部分集合 R₁によって表す。

判別ルール R の良し悪しの基準の一つは、適当な正の定数c₁, c₂ によ って、r(R) $= c_1 \Pr\{ X \in R^c \vert \Pi_1 \}$ $+ c_2 \Pr\{ X \in R \vert \Pi_2 \}$と表され、r(R) が小さいほど、R は 望ましい判別ルールとされる。 $\mu_1, \mu_2, \Sigma$の値がわかっているときには、r(R)を最小にする判 別ルールは、 $R_o = \{ x \vert x'\Sigma^{-1}(\mu_1 - \mu_2) > \frac{1}{2} (\mu_1 + \mu_2)'\Sigma^{-1}(\mu_1-\mu_2) + \log(c_2/c_1) \}$ によって与えられる。

未知母数 $\mu_1, \mu_2, \Sigma$の値が未知の場合の判別ルールとして代表的な ものに（標本）線形判別ルールと最大尤度比ルールがある。 線形判別ルールは、Wルールとも呼ばれ、未知母数 $\mu_1, \mu_2, \Sigma$の値 を、それぞれの不偏推定量、 $\overline{X}_1, \overline{X}_2, S$ で置き換えたものである。ここで、 $\overline{X}_i = \frac{1}{N_i}\sum_{j=1}^{N_i}X_j^{(i)}, (i = 1,2), S = \frac{1... ...j=1}^{N_i}(X_j^{(i)}-\overline{X}_i)(X_j^{(i)}- \overline{X}_i)', n = N_1+N_2-2$である。 最大尤度比ルールはZルールとも呼ばれ、判別問題を２つの仮説
$$\begin{gather*}H_1 : X_1^{(1)}, \cdots, X_{N_1}^{(1)}, X \qquad \sim N_p(\mu_1, ... ...X_1^{(2)}, \cdots, X_{N_2}^{(2)}, X \qquad \sim N_p(\mu_2, \Sigma) \end{gather*}$$
の仮説検定と考えることによって得られる。Zルールは $R_Z = \{ x \vert \frac{N_1}{N_1+1}d(x, \overline{X}_1;S) - \frac{N_2}{N_2+1}d(x,\overline{X}_2;S) < c \}$と表される。ここで、 d(x,y;Z) = (x-y)'Z^-1(x-y), c はr(R_Z)が小さくなるように c₁, c₂ の比に応じて決められる。

線形判別ルールと最大尤度比ルールの優劣を調べるため、 $N_1\longrightarrow \infty, N_2 \longrightarrow \infty, \frac{N_1}{N_2} \longrightarrow \kappa (\kappa > 0)$ のときの各ルールの r(R) の漸近展開を求める。線形判別ルールは、 $R_W = \{ x \vert d(x, \overline{X}_1;S) - d(x, \overline{X}_2;S) < 2 \log (c_1/c_2) \}$ と表されるので、単に２つの判別ルールの優劣を 調べるだけでなく、R_W, R_Zを含む判別ルールのクラス, $R(a,b) = \{ x \vert (1+a)d(x, \overline{X}_1;S) - (1-a)d(x, \overline{X}_2;S) < b \}$ を考え、r(R(a,b))の漸近展開のO(n^-2)までの項を最小にするよ うな係数a, bの値を求めることを考えた。

r(R(a,b))はa,bだけでなく、 $\Pi_1, \Pi_2$ のマハラノビス距離 $\Delta = d(\mu_1,\mu_2;\Sigma)^{1/2}$の値にも依存しており、 $\Delta$に関して一様にr(R(a,b))を最小にすることが望まれる。残念なが ら、一様に最小にするa,bは存在しないが、任意にb を 固定したとき、$\Delta$に関して一様にr(R(a,b))を最小にするa を求める ことができた。c₁ = c₂ の場合には最適なaは、 最大尤度比ルールに対応するものとO(n^-1)まで一致しており、漸近展開に おける２次のオーダーまででは、最大尤度比ルールは、 線形判別ルールより優れていることが示された。