+[解析]:这里要说明一下:$L_a$ 表示训练出来的算法,$f$ 是表示真实目标函数。这条定理希望求出的是:某个算法对于某一类问题下所有真实目标函数的误差总和。书中给出的是简化版证明,仅考虑二分类问题。理解的难点在于第二个等号到第三个等号之间的转化。在二分类问题下,真实目标可以是任意一个将 |X|个样本映射到 {0,1} 的函数,一共有 $2^{|X|}$ 个 $f$,而且每一个 $f$ 出现的概率相等。所以对于任意一个样本 x,都有一半的 $f$ 下 x=1,另一半的 $f$ 下 x=0。从而有
|