Mirror

代价函数·反向传播 回顾 接下来的讲义主要考虑两种分类问题：第一种是二元分类，如之前的讲义所述，y的取值只能是0或者1，输出层只有一个输出单元，假设函数的输出值是一个实数；第二种是多元分类，y的取值是一个k维的向量，输出层有k个输出单元。 神经网络的代价函数形式 假设一个神经网络训练集有m个训练样本：\({(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),...,(x

多元分类 介绍 一对多分类的实质是对一对一分类的拓展。 基本方法是建立一个多输出的神经网络，因此在多元分类中，最终的输出结果将是一个n维的向量，输出层的每一个输出单元用于判断是否是某一类（例如：是否是行人，是否是自行车），当判断为结果是某一类时，在理想情况下，这个网络会在这一输出单元输出1，其他的输出单元输出0，最终输出的结果是如：\(h_Θ(x)≈\left[\begin{smallmat

img{ width: 50%; padding-left: 20%; } 感知机 神经网络中，单层神经元（无中间层）的计算可用来表示逻辑运算，比如逻辑与(AND)、逻辑或(OR)。这样的单层神经网络被称为感知机(perceptron)。感知机的输入和输出都是二进制数。 线性逻辑函数的实现——AND,OR,NOT 为了解释感知机如何实现逻辑函数的功能，以AND

img{ width: 60%; padding-left: 20%; } 前向传播模型 神经元模型 假设： 大脑对于不同功能（听觉，视觉，触觉的处理）的实现是依赖于同样的学习方法 依据： 神经重接实验 神经网络模拟了大脑中的神经元或者是神经网络。先来看大脑中的神经元构成: 如图所示，神经元有很多的输入通道（树突），同时通过轴突给其他的神经元传

img{ width: 60%; padding-left: 20%; } 神经网络的背景知识 激活函数算法的局限性 假设一个数据集拥有非常多的原始特征和数据量，执行激活函数算法，那么次方项、交叉项会非常的多，计算量非常的大，最终的拟合结果也不好。 计算机视觉中的例子： 计算机读取到的是图片所对应的像素强度的矩阵。 >对于灰度图像来说，像素强度就是每一

电路与器件常考知识点 针对Brunel University 2020: EE1618 Devices and Circuits的期末复习笔记 Lecturer: Dr. Ruiheng Wu（武瑞恒）/Dr. Chunsing Lai（赖俊升） 图因为挂在了github上，需要通过科技才能够看得到。 电学部分知识点 静态电路分析 1. Y- \(\Delta\) 形电路转换

课程简介 课程： BUL 2021： EE2622 Fundamentals of Signals and Systems 授课教师： Dr. Ruiheng Wu/ Zheng Luo (Assistant) 参考资料 《信号与线性系统分析》 第四版 吴大正主编 高等教育出版社 《信号与系统》 第二版 奥本海姆编 电子工业出版社 笔记结构 笔记按照课程内容顺序按数字编号，内容包括课

多项式拟合和正规方程 特征点的创建和合并 对于一个特定的问题，可以产生不同的特征点，通过对问题参数的重新定义和对原有特征点的数学处理合并拆分，能够得到更加优秀的特征点。 多项式回归 对于更多更加常见的数学模型，其拟合往往是非线性关系的，这时候就需要考虑引用多项式来进行拟合，如：\(h(x)=θ_0+θ_1 x+θ_2 x^2+θ_3 x^3\) 正规方程算法 在微积分中，对于函数\(f

优化和调试方法 特征缩放 对于某些不具有比较性的样本特征\(x_i\) （比如对其他的x来说\(x_i\) 相当大或者相当小），梯度下降的过程可能会非常漫长，并且可能来回波动才能最后收敛到全局的最小值。 在这样的情况下，可以对\(x_i\) 进行缩放（如 \(x_i≔αx_i\) 或者 \(x_i=x_i/α\)），使得\(x_i\) 与其他的\(x\)具有可比性，以增加梯度下降的效率。

img{ width: 30%; padding-left: 20%; } 多变量线性回归 多元线性回归 对于多个特征量(Features)，规定符号表示： \(n\) 特征的总数量 \(x^{(i)}\) 第i个训练样本的输入特征向量，\(i\)表示的是一个索引(Index) \(x_j^i\) 第i个训练样本中特征向量的第j个值 此时的假设函数不再是