6.4. 总结：诊断与调试
总结： 诊断与调试
回顾： 改进算法性能的思路
回到本章最开始的改进算法性能的思路：
获得更多的数据集
选用更少的特征以防止过拟合
获得更多的特征来补充特征集
增加多项式特征
增加正则化参数\(λ\)
减小正则化参数\(λ\)
通过这一章的学习，这些思路有各自的功能和局限性：
获得更多的数据集 –仅对高方差有效
选用更少的特征以防止过拟合 –仅对高方差有效
6.2. 方差与偏差
方差和偏差
判断方法
运行一个学习算法时，如果模型表现不理想，有高可能性是发生了欠拟合（高偏差（Bias））或者过拟合（高方差（Variance））问题。 那么如何判断算法究竟出现了哪一种问题？
上一讲中已经定义过训练，测试和验证误差。 通常情况下，假设多项式模型中多项式的次数与训练和测试、验证误差的关系如下图所示：
通过上图能够判断模型到底出现了欠拟合还是过拟合： 如果训练和测试误差
7.2. 查准率和召回率
img{
width: 50%;
padding-left: 20%;
}
查准率和召回率
偏斜类问题
在上一讲中提到了用一些数学指标来评估算法是非常有效的一种方法，但是如果错误地选用了某些指标就会导致偏斜类问题（Skewed Classification）的出现。
具体而言，对于癌症分类问题，如果训练了一个模型并用测试集检测出错误率为1%，但实际上测试集中只
7.1. 学习系统构建方法
img{
width: 50%;
padding-left: 20%;
}
学习系统构建方法
方法优先级
假设垃圾邮件中会存在一些故意拼错的单词，如何通过监督机器学习建立一个垃圾邮件分类器？
设\(x\)表示邮件的特征，分类标签\(y={0,1}\)分别表示不是垃圾邮件和是垃圾邮件。 一个简单思路是从邮件中选取100个单词作为分类器决定邮件是否是垃圾邮件的特征
7.3. 数据量与学习性能
数据量与学习性能
在某些情况下，获取大量数据来进行机器学习并得到模型是一个非常有效的提升模型性能的办法。
2001年Banko 和 Brill试图用不同的算法对一些容易混淆的词汇进行分类，他们用数据集训练这些算法，并绘制了学习曲线。 学习曲线反映出来对于大部分算法，数据集量的提升都能够改进模型的性能。
假设有一个需要大量参数的学习算法（通常这样的算法能够拟合更加复杂的模型，因此训练误差会很小
数字系统与微处理器-常考知识点
Knowledge points of Digital Systems and Microprocessors
Made for the final test of Brunel University 2020 EE1655: Digital Systems and Microprocessors
Lecturer: Dr.Zhengwen Huang（黄正文）/Dr. Guoquan L
3.2. 分类算法的优化
分类算法的优化
其他代价函数优化算法
对于代价函数，它可以被拆分成求\(J(θ)\)和求\(\frac{∂J(θ)}{∂θ_j }\) 两个基础的部分
事实上，除了基础的梯度下降算法能够求到最小值之外，还有如下的集中基本方法：
共轭梯度算法（Conjugate Gradient）
BFGS
L-BFGS
这些算法有一些共同的特点：
这些算法利用线搜索算法（一种智能内循环
3.1. 激活函数和代价函数
img{
width: 60%;
padding-left: 20%;
}
逻辑回归、激活函数及其代价函数
线性回归的可行性
对分类算法，其输出结果y只有两种结果{0，1}，分别表示负类和正类，代表没有目标和有目标。
在这种情况下，如果用传统的方法以线性拟合\({h_θ (x)=θ^T X}\)，对于得到的函数应当对y设置阈值a，高于a为一类，低于a为一类。