最优化，凸优化，对偶，KKT，Bound

参见 无忘所能 和 凸优化笔记
对偶 g <= d* <= p* <= f
不管 primal 是不是凸，dual 必为凸，故可求得 d*

weak duality d* <= p* 必定是满足的。
strong duality d* = p* often 满足（满足 slate 充分条件则满足）

KKT条件是以 primal optimal points 和 dual optimal points 为参数的一些列条件。
它共有5项，对 x,lambda,v求导占三项，lambda >0 占一项，complete slackness 占一项。

当原问题为非凸时，KKT 为必要条件。
当原问题为凸时，KKT 为充分必要条件。

Bound: 两种用法
1.
最小化f(x)时，可以最小化f 的一个上界。
最大化f(x)时，可以最大化f 的一个下界。比如 variational inference.
 2.
若只是求 f(x), f(x) 很难求
则最小化f 的一个上界 或 最大化f 的一个下界都可以。