|
@@ -105,7 +105,7 @@ $$\begin{aligned}
|
|
|
## 附录
|
|
## 附录
|
|
|
### ①互信息<sup>[1]</sup>
|
|
### ①互信息<sup>[1]</sup>
|
|
|
在解释互信息之前,需要先解释一下什么是条件熵。条件熵表示的是在已知一个随机变量的条件下,另一个随机变量的不确定性。具体地,假设有随机变量$X$和$Y$,且它们服从以下联合概率分布
|
|
在解释互信息之前,需要先解释一下什么是条件熵。条件熵表示的是在已知一个随机变量的条件下,另一个随机变量的不确定性。具体地,假设有随机变量$X$和$Y$,且它们服从以下联合概率分布
|
|
|
-$$P(X = x_{i},Y = y_{j}) = p_{ij},i = 1,2,....,n;j = 1,2,...,m$$
|
|
|
|
|
|
|
+$$P(X = x_{i},Y = y_{j}) = p_{ij}\quad i = 1,2,....,n;j = 1,2,...,m$$
|
|
|
那么在已知$X$的条件下,随机变量$Y$的条件熵为
|
|
那么在已知$X$的条件下,随机变量$Y$的条件熵为
|
|
|
$$\operatorname{Ent}(Y|X) = \sum_{i=1}^np_i \operatorname{Ent}(Y|X = x_i)$$
|
|
$$\operatorname{Ent}(Y|X) = \sum_{i=1}^np_i \operatorname{Ent}(Y|X = x_i)$$
|
|
|
其中,$ p_i = P(X = x_i) ,i =1,2,...,n$。互信息定义为信息熵和条件熵的差,它表示的是已知一个随机变量的信息后使得另一个随机变量的不确定性减少的程度。具体地,假设有随机变量$X$和$Y$,那么在已知$X$的信息后,$Y$的不确定性减少的程度为
|
|
其中,$ p_i = P(X = x_i) ,i =1,2,...,n$。互信息定义为信息熵和条件熵的差,它表示的是已知一个随机变量的信息后使得另一个随机变量的不确定性减少的程度。具体地,假设有随机变量$X$和$Y$,那么在已知$X$的信息后,$Y$的不确定性减少的程度为
|