robust approximation, fitting, optimization

1. 多目标
minimize {f(x), \phi(x)}
\phi(x) 越小强调某种性质，比如 smoothness, 或者 model simplicity

2. 正则化
minimize f(x)+v \phi(x)
正则化是解决多目标的一种方法
\phi(x) 越小强调某种性质，比如 smoothness, 或者 model simplicity

3. 在统计模型下，MAP，加先验知识
maximize p(y|x)p(x)
换到 log 域，则为正则化

正则化则有 v 调整 trade-off

4. stochastic
minimize ||Ax-b||
A 视为随机变量，A~ E[A] + V
即考虑了 A 的 variation.