MCMC① - 日々の記録

ベイズ推論は幾つかの理由により近年まで敬遠されてきた。その原因の一つが、計算量が膨大であるからである。 MCMCは従来困難だったベイズ推論の計算を容易にすることに貢献した。

MCMCは別にベイズ推論に特化したものではないが、経済学その他においてベイズ推論と結びつけられて紹介されることが多い為、このブログではベイズ推論の観点からMCMCを紹介する。

本記事は以下の書籍を参考にしている。
www.amazon.co.jp

またプログラムはhttps://github.com/NlGG/MCMCに掲載している。

まずは、そもそもベイズ推論とは何か、ということから説明しよう。

__________

ベイズの定理

例えば、正規分布があるとする。 $\mu$ の値が与えられた時の条件付き確率分布を考えると、 $f(x_i|\mu) = \frac{1}{\sqrt{2\pi}}\{-{1}{2}(x_i)-\mu)^2\}$ である。
n個の確率変数 $X_i, X_2, ..., X_n$ が互いに独立に上の分布に従うとすると、その同時確率密度関数はXとμの関数として見れる。

観測値xが与えられる前にμに関する分布を事前分布
観測値xが得られたときのμの関数f(x|μ)を尤度関数
観測値が与えられた後のパラメータμの分布をμの事後分布
という。

一般に、パラメータθに関する事前確率密度関数をπ(θ)、θが与えられたときのデータxの確率密度関数をf(x|θ)とすると、θの事後確率密度関数π(θ|x)は、π(θ|x)∝f(x|θ)π(θ)　（事後確率は尤度関数と事前確率の積に比例する）となる。これをベイズの定理という。

ベイズ推論

データxが得られたとき、パラメータθの事後分布の情報をまとめ、そしてその事後分布に基づいて統計的推論を行う。θがベクトルであるとすると、関心のあるパラメータθiについて、周辺確率密度関数
$\pi(\theta_i|x) = \int \pi(\theta|x)d\theta_{-i}$
を求める。こうして事後情報は事後確率密度関数として与えられる。

区間推定を事後分布に基づいて行う。
[tex:{ \displaystyle Pr(a<\theta

無情報事前分布

事前分布について未知のときは無情報事前分布をとることが多い（絶対ではない）。
こうすることで主観性を減らし、従来の統計モデルと整合性をとらせる。
無情報事前分布とは、正規分布であれば分散を大きくしたり、ガンマ分布であれば尺度パラメータの値（β）を小さくすることで、事前確率密度関数がフラットになるようにしている。