chapter14.md 1.9 KB
14.26
假设变量$x$所在的空间有$$n$$个状态($$s_1,s_2,..,s_n$$)，定义在该空间上的一个转移矩阵$$T(n\times n)$$如果满足一定的条件则该马尔可夫过程存在一个稳态分布$$\pi$$,使得 $$ \begin{aligned} \pi T=\pi \end{aligned} \tag{1} $$ 其中，$$\pi$$是一个$$n$$维向量，代表$$s_1,s_2,..,s_n$$对应的概率。反过来，如果我们希望采样得到符合某个分布$$\pi$$的一系列变量$$x_1,x_2,..,x_n$$，应当采用哪一个转移矩阵$$T(n\times n)$$呢？
事实上，转移矩阵只需要满足马尔可夫细致平稳条件 $$ \begin{aligned} \pi (i)T(i,j)=\pi (j)T(j,i) \end{aligned} \tag{2} $$ 即公式$$14.26$$，这里采用的符号略有区别是因为西瓜书的表述容易使人混淆。简单的证明如下 $$ \begin{aligned} \pi T(j) = \sum _i \pi (i)T(i,j) = \sum _i \pi (j)T(j,i) = \pi(j) \end{aligned} \tag{3} $$ 假设采样得到的序列为$$x_1,x2,..,x{t-1},xt$$，则可以使用$$MH$$算法来使得$$x{t-1}$$(假设为状态$$s_i$$)转移到$$x_t$$(假设为状态$$s_j$$)得概率满足式$$(2)$$.
14.28
这个公式其实是拒绝采样的一个trick，因为基于西瓜书$$14.27$$只需要
$$
\begin{aligned}
A(x^* | x^{t-1}) &= p(x^)Q(x^{t-1} | x^) \
A(x^{t-1} | x^) &= p(x^{t-1})Q(x^ | x^{t-1})
\end{aligned}
\tag{4}
$$
即可满足式14.26，但是实际上等号右边的数值可能比较小，比如各为0.1和0.2，那么好不容易才到的样本只有百分之十几得到利用，所以不妨将接受率设为0.5和1，则细致平稳分布条件依然满足，样本利用率大大提高。所以可以将(4)改进为
$$
\begin{aligned}
A(x^* | x^{t-1}) &= \frac{p(x^)Q(x^{t-1} | x^)}{Norm} \
A(x^{t-1} | x^) &= \frac{p(x^{t-1})Q(x^ | x^{t-1}) }{Norm}
\end{aligned}
\tag{5}
$$
其中
$$
\begin{aligned}
Norm = max(p(x^{t-1})Q(x^* | x^{t-1}),p(x^)Q(x^{t-1} | x^))
\end{aligned}
\tag{6}
$$
即教材的14.28.