重回帰モデルの回帰係数の推定値が計算できない条件

あい

最小二乗法で
重回帰モデルの回帰係数を
推定することが
出来ない条件を
紹介します

[PR]※本サイトには、プロモーションが含まれています

合わせて読みたい

【回帰分析】重回帰モデルとは ?Rで重回帰モデルを実装してみる

1 線形重回帰モデルとは
2 回帰係数の推定
3 最小二乗法で計算できない場合
- 3.1 説明変数の数+1がサンプルサイズ上回っている場合
- 3.2 多重共線
4 まとめ
5 参考文献

線形重回帰モデルとは

目的変数 y の値を決める

複数の要因を説明変数 Xとし

線形重回帰モデルを作って

目的変数の予測や説明を行う統計的手法の一つです

重回帰モデルは以下のような形で表されます

\(Y=B_0+B_1X_1+…+B_nX_n+ε\)
\(ε\)は互いに独立に\(N(0,σ^2)\)

Yは目的変数
\(B_0\)は定数項
\(B_1\,B_2….B_n\)は回帰係数
\(X_1\,X_2….X_n\)は独立変数
\(ε\)は誤差項

回帰係数の推定

線形重回帰モデルでは

切片を含む回帰係数に対応する

パラメータ

\(B_0,B_1….,B_n\)

を推定することが

目的の一つである。

パラメータの推定には

最小二乗法という方法がある

線形重回帰モデルの問題として

データよっては最小二乗法で推定値を

計算できず

解が一意に定まらない場合もある

最小二乗法で計算できない場合

最小二乗法で回帰係数の推定値が
計算できないパターンは主に二つある

・説明変数の数(P)+1がサンプルサイズ(データサイズ)を上回っている場合
・説明変数間に多重共線性がある場合

説明変数の数+1がサンプルサイズ上回っている場合

回帰係数の推定値は以下の式で導出可能である

\(\mathbf{\hat B=(X^TX)^{-1}X^Ty}\)

説明変数Xの数+1がサンプルサイズnを超えた場合
\(X^TX\)が逆行列を持たなくなってしまい
回帰係数を推定することが出来ない。

このことを確認するために
説明変数Xを2つサンプルサイズを
2としたときに逆行列をもたないのか
確認してみます。

例

\(\begin{eqnarray} X=\left(\begin{array}{ccc} 1 & 2 & 3\\ 1& 3 & 2 \end{array} \right) \end{eqnarray}\)
\(X^TX\)を計算し逆行列が存在するか確認します

\(X^T\)はXの転置行列なので計算をすると

\(\begin{eqnarray} X^T=\left(\begin{array}{ccc} 1 & 1 \\ 2 & 3 \\3& 2 \end{array} \right) \end{eqnarray}\)

\(X^TX\)\(\begin{eqnarray} =\left(\begin{array}{ccc} 1 & 1 \\ 2& 3 \\3 & 2 \end{array} \right) \end{eqnarray}\)\(\begin{eqnarray} \left(\begin{array}{ccc} 1 & 2 & 3\\ 1 & 3& 2\end{array} \right) \end{eqnarray}\)

\(X^TX\)\(\begin{eqnarray} =\left(\begin{array}{ccc} 2 & 5 & 5\\ 5 & 13 & 12\\5 & 12 & 13\end{array} \right) \end{eqnarray}\)

3×3の逆行列を求める公式は

\(\begin{eqnarray} A=\left(\begin{array}{ccc} a_{11} & a_{12} & a_{13}\\ a_{21} & a_{22} & a_{23}\\ a_{31} & a_{32} & a_{33} \end{array} \right) \end{eqnarray}\)の逆行列は
\(\displaystyle A^{-1}=\frac{1}{a_{11}a_{22}a_{23}+a_{12}a_{23}a_{31}+a_{13}a_{21}a_{32}-a_{13}a_{22}a_{31}-a_{12}a_{21}a_{33}-a_{11}a_{23}a_{32}}\)

\(\begin{eqnarray} ×\left(\begin{array}{ccc} a_{22}a_{33}-a_{23}a_{32} & -(a_{12}a_{33}-a_{13}a_{32}) & a_{12}a_{23}-a_{13}a_{22}\\ -(a_{21}a_{33}-a_{23}a_{31} )& a_{11}a_{33} -a_{13}a_{31}& -(a_{11}a_{23} – a_{13}a_{21}) \\a_{21}a_{32}-a_{22}a_{31} & -(a_{11}x_{32}-a_{12}a_{31}) & a_{11}a_{22}-a_{12}a_{21} \end{array} \right) \end{eqnarray}\)

\(det(A)=a_{11}a_{22}a_{23}+a_{12}a_{23}a_{31}+a_{13}a_{22}a_{32}-a_{13}a_{22}a_{31}-a_{12}a_{21}a_{33}-a_{11}a_{23}a_{32}\)と置く

\(det(X^TX)=0\)になるか上記の式を当てはめて確認します。

\(=338+300+300-325-325-288\)

\(=0\)