这是一个创建于 2795 天前的主题，其中的信息可能已经有所发展或是发生改变。
理解偏差 (bias) 与方差 (variance), 看懂几幅图就差不多懂了:
相信很多人看过 Understanding the Bias-Variance Tradeoff, 我对其中一个 示意图 进行了重绘:
泛化误差的分解:
关于分析与证明有兴趣的话, 更多内容可以查看 原文, 如有发现任何不妥当之处, 欢迎批评指正.
 |
1
Xs0ul 2017-05-04 13:18:51 +08:00
最后一段对 bias-variance trade-off 的解释有点含糊，“训练程度”这个词有点问题。
个人理解，训练程度是指训练用的数据的数量增加。但是训练数据增加一般导致 variance 下降，并不影响 bias。 最常见同时影响 bias 和 variance 的，应该是模型复杂度。 |
 |
2
954880786 2017-05-04 14:11:54 +08:00 via iPhone
@Xs0ul 我认为训练样本的上升也可以导致 bias 的下降吧，训练样本较少，模型模型对训练数据集拟合的都很差，bias 和 variance 都会很高
|
|
3
Xs0ul 2017-05-04 14:28:14 +08:00
@954880786 #2 参考楼主的公式 (2)，f bar 是与样本无关的，取决于 X 本身的分布和模型的选取。因此公式 (5) 的 bias 也与训练样本无关。
|
 |
4
Yinz 2017-05-04 17:15:05 +08:00
Nice 文章和博客 :D
|
 |
5
menc 2017-05-04 17:30:16 +08:00
Bias-Variance Tradeoff 是一个典型的把简单问题复杂化的东西，大多数人也不明白为什么“过拟合”“欠拟合”可以解释的很清楚的东西，非要搞这么大一堆东西来说。
Bias-Variance Tradeoff 在 ensemble learning 有些作用，在其他的地方，则没有什么指导意义。 |
|
6
menc 2017-05-04 17:32:13 +08:00
所以脱离 ensemble leaning 讲 Bias-Variance Tradeoff 的文章都是耍流氓，lz 脱离问题写了这篇文章，能得出什么有益结论呢？ Bias-Variance Tradeoff 可不只只是一个 learning theory，它是可以指导模型训练的东西。
|
 |
7
simple26 OP @954880786 @Xs0ul "训练程度" 这个词的确有些模糊, 感觉还有很多内容可研究 https://www.zhihu.com/question/27068705，有空应该再去消化一下
@menc 所以你要写一个偏差与方差的前世今生？这篇文章旨在较为 "正统" 地理解偏差与方差, 难道需要得出什么有意的结论？文章内容也不是我的原创, 大都为消化后的重新梳理, 如果你有更好的理解方式，望不吝赐教。 一道题往往有多种解法, 同一个知识点往往也有多个理解的途径，我一直倾向于寻求 “最清爽” 而不失严谨的方式。 |
 |
8
newton108 2017-05-04 18:31:27 +08:00
这玩意儿值得写一篇博客？
|
|
9
menc 2017-05-04 18:40:06 +08:00
@simple26
你还是不理解 Bias 和 Variance 在机器学习中究竟用在哪里。只是看了两个概念，然后也从来没有在实际应用中用到这两个概念，就是这样。 如楼上所说，如果仅限于此，是不值得写一篇博客的。 回到 http://scott.fortmann-roe.com/docs/BiasVariance.html 原文， 建议重读第四章，这是我全部的建议。 |
|
10
simple26 OP  1
@menc 我想没有实际应用过这两个概念也并不妨碍试图去理解这两个概念 如果实践没有理论指导 做起事来肯定也是蒙头乱撞 因此**在实践之前先理解概念并不矛盾**
实践可以对理论进行验证 而理论也可以通过实践去进行探索发现 二者相辅相成 应当说并没有明确的先后关系 关于值不值得写博客这个问题，不知道该怎么定义，也不清楚什么样的内容才值得写博客，不知道您二位的博客或者文章是否都是高屋建瓴，催人深思。 至少 http://zhazha.me/ 我觉得还是挺接地气的，当然，也可能是我水平有限，还体会不出其中奥妙。 中肯的建议必然是要接受和学习 但贸然对他人工作的否定我想还是有必要与之划清界限 |
 |
11
yemenchun1 2017-05-04 23:13:23 +08:00 via iPhone
第一个图挺不错啊，够直观，但是 high bias、high variance 是不是均匀分布在整个圆周更好呀（而不是只在一点钟方向）
|
|
12
simple26 OP @yemenchun1 额 有点道理 不过为了让四个图分布的点在数量差不多的话 位置上再均匀分布四周的话感觉似乎有点太空旷了
|
Select Language