6.4. 总结：诊断与调试

总结： 诊断与调试

回顾： 改进算法性能的思路

回到本章最开始的改进算法性能的思路：
1. 获得更多的数据集 2. 选用更少的特征以防止过拟合 3. 获得更多的特征来补充特征集 4. 增加多项式特征 5. 增加正则化参数\(λ\)
6. 减小正则化参数\(λ\)

通过这一章的学习，这些思路有各自的功能和局限性：
1. 获得更多的数据集 --仅对高方差有效 2. 选用更少的特征以防止过拟合 --仅对高方差有效 3. 获得更多的特征来补充特征集 --通常用于高偏差问题 4. 增加多项式特征 --仅对高偏差有效 5. 增加或减小正则化参数\(λ\) --仅对高偏差有效 6. 减小正则化参数\(λ\) --仅对高方差有效

大型神经网络和小型神经网络

小型神经网络： 计算量简单
大型神经网络： 大计算量，更容易出现过拟合现象 通常使用一个正则化的大型神经网络的效果要比小型神经网络更好。
大型神经网络的隐藏层数目和单元数目可以通过调参进行优化。