参考文献
回帰分析
最小二乗法
モデル
$$ \begin{eqnarray}
y &=& \beta_0 + \beta_1 x_1 + \cdots + \beta_K x_K + \epsilon \\
\left[
\begin{array}{ccc}
y_1 \\
\vdots \\
y_i
\end{array}
\right]
&=&
\left[
\begin{array}{ccc}
1 & x_{1,1} & \cdots & x_{1,K} \\
1 & \vdots & \ddots & \vdots \\
1 & x_{i,1} & \cdots & x_{i,K}
\end{array}
\right]
\left[
\begin{array}{ccc}
\beta_0 \\
\beta_1 \\
\vdots \\
\beta_K \\
\end{array}
\right]
+
\left[
\begin{array}{ccc}
\epsilon_1 \\
\vdots \\
\epsilon_i
\end{array}
\right]
\\
\boldsymbol{y} &=& \boldsymbol{X} \boldsymbol{\beta} + \boldsymbol{\epsilon} \\
\end{eqnarray}
$$
において、 残差二乗和
$$ \sum_i^N \hat{\epsilon_i}^2= \sum_i^N \left( y_i – \boldsymbol{x_i} \hat{\boldsymbol{\beta}} \right)^2 $$
を最小化することで\(\hat{\boldsymbol{\beta}}\)を推定する手法。
説明変数を1つにした簡単な例
モデル
$$ y=\beta_0 + \beta_1 x_1 + \epsilon $$
において、\(\beta_0\)の推定値\(\hat{\beta}_0\)、\(\beta_1\)の推定値\(\hat{\beta}_1\)を求めたい。
一階条件は
$$ \frac{\partial \sum_i^N \left( y_i – \boldsymbol{x_i} \hat{\boldsymbol{\beta}} \right)^2 }{\partial \boldsymbol{\beta}} = 0 $$
(ただし、多重共線性をもたないこと、すなわち \(rank\left( \boldsymbol{X} \right) = K+1 \)であることを満たす必要がある)
最小二乗推定量は
$$ \hat{\boldsymbol{\beta}}=\left( \boldsymbol{X}^{T} \boldsymbol{X} \right)^{-1}\boldsymbol{X}^{T}\boldsymbol{y} $$
不偏性
最小二乗推定量を変形すると
$$ \hat{\boldsymbol{\beta}}= \boldsymbol{\beta} + \left( \boldsymbol{X}^{T} \boldsymbol{X} \right)^{-1}\boldsymbol{X}^{T}\boldsymbol{\epsilon} $$
ここで、\(E\left( \boldsymbol{\epsilon}| \boldsymbol{X} \right)=0\)を満たす限り、
$$ E\left( \hat{\boldsymbol{\beta}}| \boldsymbol{X} \right)= \boldsymbol{\beta} $$
不偏性が成り立つ。
一致性
$$ \hat{\boldsymbol{\beta}}= \boldsymbol{\beta} + \left( \boldsymbol{X}^{T} \boldsymbol{X} \right)^{-1}\boldsymbol{X}^{T}\boldsymbol{\epsilon} $$
は、説明変数が一つの場合、
$$ \hat{\beta}_1=\beta_1+\frac{\frac{1}{N}\sum_i^N \left(x_i-\epsilon_i\right)^2}{\frac{1}{N}\sum_i^N \left(x_i-\bar{x}\right)^2} $$
と表せる。確率極限を求めると
$$ plim\left(\beta_1 \right) =\beta_1+ \frac{plim\left(\frac{1}{N}\sum_i^N \left(x_i-\epsilon_i\right)^2\right)}{plim\left(\frac{1}{N}\sum_i^N \left(x_i-\bar{x}\right)^2\right)}=\beta_1+\frac{Cov\left(x,\epsilon\right)}{Var\left(x\right)} $$
ここで、\(Cov\left( x,\epsilon \right)=0\)を満たす限り、
$$ plim\left(\hat{\beta}_1\right)= \beta_1 $$
一致性が成り立つ。
操作変数法
一般化モーメント法(GMM)
- 最小二乗法
- 一般化最小二乗法
- 操作変数法
は一般化モーメント法の特殊型。
データの種類
Cross sectional data
身長 | 体重 | |
Aさん | ||
Bさん |
Time series data
Aさん | 身長 | 体重 |
2017年 | ||
2018年 |
Repeated cross sectional data
身長 | 体重 | ||
Before | Aさん | ||
Bさん | |||
After | Aさん | ||
Bさん |
差の差推定
実験群(Control)と対照群(Treatment)を用いて政策変更の影響を対照実験のように抽出する手法。対照実験のようにすることで外部の効果をなくす。
$$ y_{i,t}=\beta_0+\beta_1 D_{after}+\beta_2 D_{treatment}+\beta_3 D_{after}D_{treatment}+\epsilon_{i,t} $$
のように、「前か後か」、「実験群か対照群か」のダミー変数(0か1かの二項変数)とその交差項(ダミー変数×ダミー変数)を用意して最小二乗推定量を求めると、\(\beta_2\)に政策変更の影響が抽出される。
Panel data
身長 | 体重 | ||
Aさん | 2017年 | ||
2018年 | |||
2019年 | |||
Bさん | 2017年 | ||
2018年 | |||
2019年 |
一階階差推定
非観測効果を打ち消すことができる手法。
時間を通じて変化しない非観測効果\(\alpha_i\)があるとする。
$$ \begin{eqnarray}
y_{i,2} &=& \left(\beta_0 + \delta_0\right) + \beta_1 x_{i,1} + \alpha_i + \epsilon_{i,1} \\
y_{i,1} &=& \beta_0 + \beta_1 x_{i,1} + \alpha_i + \epsilon_{i,1} \\
\end{eqnarray} $$
ここで差をとると
$$ y_{i,1} – y_{i,2}= \delta_0 + \beta_1 \left(x_{i,2}-x_{i,1}\right) + \left(\epsilon_{i,1} – \epsilon_{i,1}\right) $$
のようにできるため、
$$ \Delta y_{i,t}=\delta_0 + \beta_1 \Delta x_{i,t} + \Delta \epsilon_{i,t} $$
を推定して一階階差推定量を求めれば良い。