课程简介 课程： CQUPT/BUL 2021： EE2624 Digital Signal Processing 授课教师： Dr. Jimmy Teng（邓明亮），重庆邮电大学 ## 参考资料 《数字信号处理及MATLAB实现》 第一版 余成波等编著 清华大学出版社 《离散时间信号处理》 第三版 奥本海姆编 电子工业出版社 MATLAB 帮助中心 MathWorks® 笔记结构

吴恩达：总结和感谢 欢迎来到《机器学习》课的最后一段视频。我们已经一起学习很长一段时间了。在最后这段视频中，我想快速地回顾一下这门课的主要内容，然后简单说几句想说的话。 作为这门课的结束时间，那么我们学到了些什么呢？在这门课中，我们花了大量的时间介绍了诸如线性回归、逻辑回归、神经网络、支持向量机等等一些监督学习算法，这类算法具有带标签的数据和样本，比如\(\{x^{(i)},y^{(i)}\}

上限分析 在之前的学习中已经知道，在机器学习系统设计之初就需要设计整个系统的流水线。现在在构建好整个机器学习系统之后，回顾整个流程图，使用上限分析的策略来分析现在对整个流水线中的哪些部分进行改进、哪些部分需要花费最大的资源，才能够最大化地提升系统的性能。 最好的方法仍然是对整个系统的评估进行量化。 回顾之前的照片光学字符识别的流水线： 现在构建一个评估方式量化这个系统的性能，并应用控制

人工数据合成 通过之前的学习，可以得出机器学习的实质是使用一个低偏差的算法学习一个相对庞大甚至是非常庞大的数据集，如何获得大量的数据集呢。实际上，有时寻找一些特定的数据集是非常困难的，通常有如下的几种思路可以获得大量数据： 人工数据合成 手动标记标签 雇佣众包来标记数据 本节主要介绍一种称为人工数据合成的方法。人工数据合成可以通过生成数据集或者是对现有的数据集进行扩增以增加数据量

文字分离·字符识别 照片OCR系统的流水线： 本节将着重于“Character segmentation”文字分离和“Character recognition”字符识别的部分。 这一部分需要再次应用监督学习算法制作分类器。 文字分离 构建数据集 文字分离的数据集同样由正样本和负样本组成，其中正样本是图像中有两个字符分割线的图像，负样本是没有字符分割线的图像。负样本由单个的字符图像

滑动窗口分类器 上一节中照片OCR系统的流水线： 本节课将着重于“Text detection”文字检测的部分，这一部分的功能由一种称为滑动窗口分类器（Sliding window classifier）的算法承担。 滑动窗口分类器能够全局扫描整幅图像并检测图像上的有文字的部分。 案例：行人检测 滑动窗口的最经典应用是行人检测，相比于文字检测要简单的地方在于：行人检测所检测的目标拥有

问题背景与框架设计 本章以光学字符识别技术为实例，介绍一个机器学习系统是如何被组装起来的，以及设计机器学习系统的路线。 问题背景 照片光学字符识别（Photo OCR），顾名思义，即机器学习能够自动识别照片当中包含的文字。对于给定的照片，算法会全局扫描照片，然后找出照片中的文字信息。在找出这些信息后，算法会对这些文字进行识别。 框架设计·流水线 一个照片光学字符识别系统的框架设计流水

小批量梯度下降算法 小批量梯度下降算法（Mini-batch gradient descent）是另一种改善由大数据造成的计算量问题的梯度下降算法。小批量梯度下降算法的思路介于批量梯度下降算法和随机梯度下降算法之间，在一些情况下的表现比随机梯度下降算法更为出色。 小批量梯度下降算法的思路 回顾之前的梯度下降算法： 批量梯度下降算法在一次迭代中使用了数据集中所有的样本 随机梯度下降

随机梯度下降算法 在13.1. 中提到使用传统的梯度下降算法来最小化大数据集的代价函数计算量非常大，因此需要找到一种方式来改进现有的梯度下降算法。一种可行的方式是随机梯度下降算法（Stochastic gradient desent）。 回顾：线性回归的梯度下降算法 对于假设函数：\(h_θ(x)=∑_{j=0}^mθ_jx_j\) 其训练集的代价函数为： \[J_{train}(θ)=

在线学习 在线学习（Online learning）可以针对于连续的数据流进行学习。 今天，许多大型网站或者许多大型网络公司，使用不同版本的在线学习机制算法，从大批的涌入又离开网站的用户身上进行学习。 ## 梯度下降的在线学习 对于数据流，在线学习采用了类似于随机梯度下降/小批量梯度下降的方式进行学习。在线学习的更新方程为： \[θ_j:=θ_j-α(h_θ(x)-y)x\] 和随机梯度下