8.2. 数学原理 img{ width: 50%; padding-left: 20%; } 数学原理 回顾:向量的点乘 对于向量\(u=[\begin{smallmatrix} u_1 \\ u_2 \end{smallmatrix}]\),\(v=[\begin{smallmatrix} v_1 \\ v_2 \end{smallm 2021-04-27 学习笔记 > 机器学习基础课程——吴恩达 > 08. 支持向量机
8.1. 激活函数、代价函数和决策边界 img{ width: 50%; padding-left: 20%; } 激活函数、代价函数和决策边界 逻辑回归的代价函数的线性拟合 逻辑回归的激活函数:\(h(x)=\frac{1}{1+e^{-θ^Tx}}\)。 对于单个样本\((x,y)\),逻辑回归的代价函数是:\(-ylog(h_θ (x))−((1−y)log(1−h_θ (x)))\),将\ 2021-04-27 学习笔记 > 机器学习基础课程——吴恩达 > 08. 支持向量机
8.3. 核函数 核函数 非线性分类的SVM 本节将使用核函数对支持向量机进行改造,使其成为复杂的非线性分类器。 比如对于如上图所示的分类,决策边界是非线性的。 此时一种对其拟合的方法是用多项式对其进行拟合。 比如: 当\(θ_0+θ_1x_1+θ_2x_2+θ_3x_1x_2+θ_4x_1^2+θ_5x_2^2+..≥0\)时,预测\(y=1\)。 就能够得到一个假设函数: \[h_θ(x)=\b 2021-04-27 学习笔记 > 机器学习基础课程——吴恩达 > 08. 支持向量机
6.1. 性能评估 性能评估 下一步做什么 从第一章到现在,我们已经学习了许多中机器学习的方法。但是在面对如今眼花缭乱的算法时,应当如何选择最合适的算法来对数据集进行学习并改进这个算法? 思考如下的例子: 假设已经用波士顿房价数据集得到了线性回归的代价函数: \[ J_{\theta}=\frac{1}{2m}[\Sigma_{i=1}^{m}(h_θ(x^{(i)})-y^{(i)})^2+λ\Sigma 2021-04-22 学习笔记 > 机器学习基础课程——吴恩达 > 06. 诊断与调试
6.3. 学习曲线 img{ width: 30%; padding-left: 40%; } 学习曲线 学习曲线是一种检查算法是否正常运行的方法。 具体方法如下: 改变训练样本的总数\(m\), 分别计算一系列的训练误差\(J_{train}(\theta)\)和交叉验证误差\(J_{cv}(\theta)\)。得到结论:如果训练样本的总数很小,模型往往能够很好的拟合,随着样本数 2021-04-22 学习笔记 > 机器学习基础课程——吴恩达 > 06. 诊断与调试
6.4. 总结:诊断与调试 总结: 诊断与调试 回顾: 改进算法性能的思路 回到本章最开始的改进算法性能的思路: 获得更多的数据集 选用更少的特征以防止过拟合 获得更多的特征来补充特征集 增加多项式特征 增加正则化参数\(λ\) 减小正则化参数\(λ\) 通过这一章的学习,这些思路有各自的功能和局限性: 获得更多的数据集 –仅对高方差有效 选用更少的特征以防止过拟合 –仅对高方差有效 2021-04-22 学习笔记 > 机器学习基础课程——吴恩达 > 06. 诊断与调试