Lecture 04 偶极子天线
Lecture 4 偶极子天线
以下是刘旭康同学的笔记，他的笔记更为详细。
6.1. 性能评估
性能评估
下一步做什么
从第一章到现在，我们已经学习了许多中机器学习的方法。但是在面对如今眼花缭乱的算法时，应当如何选择最合适的算法来对数据集进行学习并改进这个算法？
思考如下的例子：
假设已经用波士顿房价数据集得到了线性回归的代价函数：
\[ J_{\theta}=\frac{1}{2m}[\Sigma_{i=1}^{m}(h_θ(x^{(i)})-y^{(i)})^2+λ\Sigma
6.3. 学习曲线
img{
width: 30%;
padding-left: 40%;
}
学习曲线
学习曲线是一种检查算法是否正常运行的方法。 具体方法如下：
改变训练样本的总数\(m\), 分别计算一系列的训练误差\(J_{train}(\theta)\)和交叉验证误差\(J_{cv}(\theta)\)。得到结论：如果训练样本的总数很小，模型往往能够很好的拟合，随着样本数
6.4. 总结：诊断与调试
总结： 诊断与调试
回顾： 改进算法性能的思路
回到本章最开始的改进算法性能的思路：
获得更多的数据集
选用更少的特征以防止过拟合
获得更多的特征来补充特征集
增加多项式特征
增加正则化参数\(λ\)
减小正则化参数\(λ\)
通过这一章的学习，这些思路有各自的功能和局限性：
获得更多的数据集 –仅对高方差有效
选用更少的特征以防止过拟合 –仅对高方差有效
6.2. 方差与偏差
方差和偏差
判断方法
运行一个学习算法时，如果模型表现不理想，有高可能性是发生了欠拟合（高偏差（Bias））或者过拟合（高方差（Variance））问题。 那么如何判断算法究竟出现了哪一种问题？
上一讲中已经定义过训练，测试和验证误差。 通常情况下，假设多项式模型中多项式的次数与训练和测试、验证误差的关系如下图所示：
通过上图能够判断模型到底出现了欠拟合还是过拟合： 如果训练和测试误差
7.2. 查准率和召回率
img{
width: 50%;
padding-left: 20%;
}
查准率和召回率
偏斜类问题
在上一讲中提到了用一些数学指标来评估算法是非常有效的一种方法，但是如果错误地选用了某些指标就会导致偏斜类问题（Skewed Classification）的出现。
具体而言，对于癌症分类问题，如果训练了一个模型并用测试集检测出错误率为1%，但实际上测试集中只
7.1. 学习系统构建方法
img{
width: 50%;
padding-left: 20%;
}
学习系统构建方法
方法优先级
假设垃圾邮件中会存在一些故意拼错的单词，如何通过监督机器学习建立一个垃圾邮件分类器？
设\(x\)表示邮件的特征，分类标签\(y={0,1}\)分别表示不是垃圾邮件和是垃圾邮件。 一个简单思路是从邮件中选取100个单词作为分类器决定邮件是否是垃圾邮件的特征
7.3. 数据量与学习性能
数据量与学习性能
在某些情况下，获取大量数据来进行机器学习并得到模型是一个非常有效的提升模型性能的办法。
2001年Banko 和 Brill试图用不同的算法对一些容易混淆的词汇进行分类，他们用数据集训练这些算法，并绘制了学习曲线。 学习曲线反映出来对于大部分算法，数据集量的提升都能够改进模型的性能。
假设有一个需要大量参数的学习算法（通常这样的算法能够拟合更加复杂的模型，因此训练误差会很小