什麽是holdout sample？

以下是reviewer的意见： Just estimating the goodness of fit of a model is no longer sufficient; test the models' predictive abilities using a hold-out sample. 什麽是holdout sample？

以下是reviewer的意见： Just estimating the goodness of fit of a model is no longer sufficient; test  ...
Anonymous 发表于 2013-3-23 15:34

    所谓的holdout sample就是要有另一个样本与你目前模型的样本做比较，亦即要执行cross validation（交叉效度）的分析，换言之，光报告模型配适度是不够的。然而在实务上很难再找一组样本，因此，只要原始样本够大(300以上)，可以随机将样本分成两群(50:50)，再进行cross validation的比较。如果比较的结果没有差异即表示模型有一定的稳定度。至于里面所提到的预测效度，指的是R-square的报告，标准是0.19(small),0.33(midium), 0.67(large)。