|
|
@@ -1,6 +1,13 @@
|
|
|
## 14.26
|
|
|
|
|
|
-假设变量$x$所在的空间有$n$个状态($s_1,s_2,..,s_n$)，定义在该空间上的一个转移矩阵$T(n\times n)$如果满足一定的条件则该马尔可夫过程存在一个稳态分布$\pi$,使得
|
|
|
+$$
|
|
|
+\begin{aligned}
|
|
|
+ p(x^t)T(x^{t-1}|x^t)=p(x^{t-1})T(x^t|x^{t-1})
|
|
|
+ \end{aligned}
|
|
|
+ \tag{14.26}
|
|
|
+$$
|
|
|
+
|
|
|
+[解析]：假设变量$x$所在的空间有$n$个状态($s_1,s_2,..,s_n$)，定义在该空间上的一个转移矩阵$T(n\times n)$如果满足一定的条件则该马尔可夫过程存在一个稳态分布$\pi$,使得
|
|
|
$$
|
|
|
\begin{aligned}
|
|
|
\pi T=\pi
|
|
|
@@ -16,7 +23,7 @@ $$
|
|
|
\end{aligned}
|
|
|
\tag{2}
|
|
|
$$
|
|
|
-即公式$14.26$，这里采用的符号略有区别是因为西瓜书的表述容易使人混淆. 证明如下
|
|
|
+即公式$14.26$，这里采用的符号与西瓜书略有区别以便于理解. 证明如下
|
|
|
$$
|
|
|
\begin{aligned}
|
|
|
\pi T(j) = \sum _i \pi (i)T(i,j) = \sum _i \pi (j)T(j,i) = \pi(j)
|
|
|
@@ -27,7 +34,14 @@ $$
|
|
|
|
|
|
## 14.28
|
|
|
|
|
|
-这个公式其实是拒绝采样的一个trick，因为基于式$14.27$只需要
|
|
|
+$$
|
|
|
+\begin{aligned}
|
|
|
+A(x^* | x^{t-1}) = \min\left ( 1,\frac{p(x^*)Q(x^{t-1} | x^*) }{p(x^{t-1})Q(x^* | x^{t-1})} \right )
|
|
|
+\end{aligned}
|
|
|
+\tag{14.28}
|
|
|
+$$
|
|
|
+
|
|
|
+[推导]：这个公式其实是拒绝采样的一个trick，因为基于式$14.27$只需要
|
|
|
$$
|
|
|
\begin{aligned}
|
|
|
A(x^* | x^{t-1}) &= p(x^*)Q(x^{t-1} | x^*) \\
|
|
|
@@ -38,15 +52,15 @@ $$
|
|
|
即可满足式$14.26$，但是实际上等号右边的数值可能比较小，比如各为0.1和0.2，那么好不容易才到的样本只有百分之十几得到利用，所以不妨将接受率设为0.5和1，则细致平稳分布条件依然满足，样本利用率大大提高。所以可以将$(4)$改进为
|
|
|
$$
|
|
|
\begin{aligned}
|
|
|
-A(x^* | x^{t-1}) &= \frac{p(x^*)Q(x^{t-1} | x^*)}{Norm} \\
|
|
|
-A(x^{t-1} | x^*) &= \frac{p(x^{t-1})Q(x^* | x^{t-1}) }{Norm}
|
|
|
+A(x^* | x^{t-1}) &= \frac{p(x^*)Q(x^{t-1} | x^*)}{norm} \\
|
|
|
+A(x^{t-1} | x^*) &= \frac{p(x^{t-1})Q(x^* | x^{t-1}) }{norm}
|
|
|
\end{aligned}
|
|
|
\tag{5}
|
|
|
$$
|
|
|
其中
|
|
|
$$
|
|
|
\begin{aligned}
|
|
|
-Norm = max(p(x^{t-1})Q(x^* | x^{t-1}),p(x^*)Q(x^{t-1} | x^*))
|
|
|
+norm = \max\left (p(x^{t-1})Q(x^* | x^{t-1}),p(x^*)Q(x^{t-1} | x^*) \right )
|
|
|
\end{aligned}
|
|
|
\tag{6}
|
|
|
$$
|
Sharey