model selection, empirical Bayes and Infer.Net

Bayesian Model Selection 指根据 model 的 posterior distribution 来选择 model

M_i = arg max_i p(M_i|D) = arg max_i p(D|M_i)p(M_i) 

p(M_i|D) 称为 model evidence 或者 marginal likelihood.

1. Infer.Net 可以直接计算  model 的 posterior distribution，参见 Infer.Net clinical trial
所以只要定义 model selector variable(binary for two models, or discrete for multi models)，然后用 conditional block 来进行多个 models 的 mixture。可以计算 model selector variable 的 posterior

2. 另一种方法，先计算 model evidence，参见 Infer.Net mixture with empty model
对于每一个model，定义其和 empty model 进行 mixture 的 model selector variable S (Bernoulli 0.5)，则 S=1 的 posterior 即为  model evidence.（具体为什么？想不出来）注意 model evidence 还要再乘与 model prior p(M_i)