3.2 偏差-方差分析

这章节回答了"为什么训练 loss 相同的两个模型,预测能力却完全不同"的问题.


第一项称为bias 偏差,表示所有数据集的平均预测与期望的回归函数的差异程度.第二个术语,称为variance,衡量单个数据集的解决方案在其平均值附近变化的程度.

我们总结一下公式:

我们的目标是最小化预期损失,我们将其分解为偏差,方差和恒定噪声项的总和.我们将要看到的偏差和方差之间存在权衡,非常灵活的模型具有低偏差和高方差,相对刚性的模型具有高偏差和低方差.具有最佳预测能力的模型是导致偏差和方差之间最佳平衡的模型.(这里就解释了为什么训练 loss 相同的两个模型,预测能力却完全不同呢?)

我们接下来定量分析偏差-方差间的权衡, 我们获得所有模型的平均预测:
\hat{y}(x)=\frac1L \sum_{l=1}L y^{(l)}(x)
然后给出偏差和方差:
(bias)^2 = \frac1N \sum_{n=1}^N { \hat{y}(x_n)-h(x_n)}^2

我们可以看到较小的\lambda会拉升模型的方差,但较大的lambda会拉高模型的偏差.

虽然偏差方差分解可以从频率论的角度对模型复杂性问题提供一些有趣的见解,但它使用价值不大,因为实践中我们只有一个数据集.

这篇文章是否对您有帮助?

请您为我打分吧!

平均分数 / 5. 投票数量:

2 thoughts on “3.2 偏差-方差分析

    • goesbest says:

      噪声公式的本质是求边缘分布,我们假定我们抽样的数据标签是有一定的噪声的,噪声服从高斯分布,高斯分布的极大似然解就是均方误差

发表评论

电子邮件地址不会被公开。 必填项已用*标注