Questions
- biase 是在设置初始参数的时候造成的吧，如果初始参数设置的好，就不应该存在这个问题了。
- 过拟合的时候，有几种方法
- 导致过拟合的原因有哪些
结构
讨论 bias 与 variance 的时候，模型的复杂度是变化的
讨论 正则项 的时候，模型一定要足够复杂（达到过拟合的程度），这时候 lambda 是变化的。
讨论样本集的大小对模型的影响的时候，模型是固定的。
Diagnosing Bias vs. Variance
通过上图，我们可以看出两个规律：
随着模型复杂度的增大（d 变大，参数变多），模型在训练集上的损失变小。这是因为模型变复杂了，对训练数据的拟合效果越来越好。
验证集的损失，随着 d 变大，先下降，此时是因为模型复杂度提升从训练数据中学习到更多信息；后下降，是因为模型向训练集靠拢，学习出来的模型泛化能力变弱。
Underfitting(high bias)
模型初始化造成的误差。此时只需要加入数据，就可以提升模型精度。
Overfitting(high variance)
模型过多描述训练数据。 此时模型的表现，在训练集中，效果较好。而在验证集中损失越来越大。
Regularization and Bias/Variance
如果正则项系数 $\lambda$ 作用不明显，说明模型欠拟合。 当模型过拟合的时候：
- lambda 过大，对参数惩罚过大，使模型的复杂度不能完全展现，造成欠拟合。
- lambda 适度，拟合效果比较理想。
- lambda 较小，对参数惩罚较小，模型复杂度体现，造成过拟合。
Learning Curves
Experience high bias
我对这个 high bias 的理解是，模型复杂程度不足，使初始 参数 在数据的不断注入下接近当前最优。
此时模型已经到达自己的极限，再多投入数据，也不到学习出更多信息。
Experiencing high variance
当模型足够复杂的时候，多加入一些数据，使模型能够再优化一些。
Deciding What to Do Next Revisited
Fixes high variance
- 加入更多数据
- 使用更少的特征
- 增大惩罚系数
Fixes high bias
- 加入更多特征
- （使用原有特征）加入更多多项式特征
- 减少惩罚系数
参考
https://www.coursera.org/learn/machine-learning/supplement/81vp0/diagnosing-bias-vs-variance https://www.cnblogs.com/ooon/p/5711516.html