variational inference

David MacKay 书中从 variational energy 的角度来分析。

VE = < E > _Q - H_Q \geq GE

当 Q 具有某些性质时，能量的期望和 Q 的熵可以求。然后进行最优化。注意最优化也是一个迭代的过程，比如在 mean field 中，迭代求

\bar{x}

和 a。

注意 x 是未知量，在书中的推导中，数据都被省略了，这和 Bishop 书中的推导略有不同，后者很强调 hidden variables 和 observed data。但两者都是统一的，都是求后验概率，对于能量最小化来说，要将后验概率表达为波尔兹曼概率的形式，再进行优化。而且很多 BN 的例子，都有 iid 的数据，而像去噪，匹配等能量最小化的应用来说，数据只有一份。这一点也请记住。