关于KL散度非负性证明
对<统计学习方法>中一个公式的思考
背景
在学习<统计学习方法>时, 对末尾的公式有疑问, 查询记录在这里.</p> </div> </div> </div>
KL散度的公式如下: $$ D_{\mathrm{KL}}(P \| Q)=\int_{-\infty}^{\infty} p(x) \log \left(\frac{p(x)}{q(x)}\right) d x $$
在证明其非负时, 用到了jansen不等式, 如下: $$ \varphi(\mathrm{E}[X]) \leq \mathrm{E}[\varphi(X)] $$
关键点是这里的推导: $$ \begin{aligned} \int p(x) \log \frac{p(x)}{q(x)} d x &=-\int p(x) \log \frac{q(x)}{p(x)} d x \\ & \leqslant-\log \int p(x) \frac{q(x)}{p(x)} d x=0 \end{aligned} $$
问题的解决
首先, jansen不等式中的 $X$ 可以用 $g(x)$ 替换, 得到 $$\varphi(E[g(x)]) \leq E[\varphi(g(x))] \quad(1)$$
其次, 定义 $$g(x) = \frac{q(x)}{p(x)} \quad(2)$$ $$\varphi(x) = \log(x) \quad(3)$$
再次就到了这里的一个关键点, 即复合函数如何求期望. 根据维基百科, $$E[g(x)] = \int g(x) p(x) d x \quad(4)$$ $$E[\varphi(g(x))]=\int p(x) \varphi(g(x)) d x \quad(5)$$ 这里隐含着条件x是以$p(x)$为PDF的随机变量.
将(2)代入(4) (5)得到 $$\begin{aligned} E[\varphi(g(x))] &=\int f(x) \varphi(g(x)) d x \\ &=\int p(x) \log \left(\frac{q(x)}{p(x)}\right) d x \end{aligned}(6)$$
$$E[g(x)]=\int \frac{q(x)}{p(x)} p(x) d x \quad(7)$$
再代入(1)便得到了问题中的结论.