事後分布の推定

尤度関数は自分で定義するし、事前分布も自分で仮定する。
それぞれからのサンプルを乱数で得ることも可能（簡単）だ。

一方で、事後分布は、尤度関数と事前分布の積に比例することまでは簡単にわかる。計算もできる。しかしその比例係数の計算が簡単ではない。というか、私たちが扱おうとする問題設定では、ほとんどの場合不可能だ。積分が計算できないのですよ。

解決方法その一。積分を数値計算する。これはパラメータが多次元の場合、とっても困難になる。ただ、事前分布からの乱数発生は簡単だから、積分をモンテカルロ法で求めることは全然難しくない。精度よく計算したい場合には時間がかかるというだけのこと。

その二。事後分布をシミュレーションで求める。MCMC とか rejection sampling とかが使える。Rejection sampling のプログラムは簡単ですよね。しかし、採択率があんまり高くないから計算時間は結構かかるかもしれない。あ、rejection の採否を計算するために尤度の最大値が必要になる。その最大化そのものが面倒だったりするとやっかいですね。

その三。漸近正規近似する。Maximum a posterior で代表値を求め、情報量計算から推定分散を得る。これを使って（多変量）正規分布だと思って計算する。

この、正規近似での密度関数と、シミュレーションで求めた事後分布のヒストグラムとを比較してみるのはおもしろいですね。TDM の「なんちゃってベイズ」ではどんな感じになってますかねえ。