异常检测问题 异常检测(Anomaly detection)算法是另一种常在非监督学习中使用的算法。这种算法虽然常常用于非监督学习，但与监督学习有许多相似之处。 对于一个非监督学习的数据集，假定数据集里的数据都是正常或异常的，此时加入一个新的数据，判断其在空间内的分布是否异常（符合现有数据集的分布规律）的问题称为异常检测问题。 解决这类问题，基本思路是对现有数据集的分布概率进行建模：设数

主成分分析算法的思路和流程 主成分分析,PCA,是最流行的降维方法之一。 主成分分析问题 PCA会找一个低维平面，将所有的数据投影到这个平面内，并使得的所有数据点到这个地维平面的距离（称为投影误差）之和最短。 在应用PCA之前，通常会将数据归一化和特征缩放，使得所有的数据在可比的范围之内。 具体而言，PCA会在\(n\)维的数据空间中寻找到\(K\)个能够代表这个低维平面的方向向量\(u

PCA算法优化 主成分数量的选取 \(K\)称作主成分的数量，通常\(K\)的选取与如下的两个参数有关： 平均投影误差的平方： \[\frac{1}{m}∑_{i=1}^m|x^{(i)}-x^{(i)}_{approx}|^2\] \(x_{approx}=U_{reduce}z\)，是通过\(z\)复原后得到的向量。 反应每一个数据到投影的距离之和。 数据的方差： \[\fra

异常检测算法的原始模型 高斯分布 随机变量\(x\)的均值为\(μ\)方差为\(σ^2\)，如果\(x\)的概率密度函数服从 \[P(x;μ,σ^2)=\frac{1}{√{2π}}exp(-\frac{(x-μ)^2}{2σ^2})\] 则称\(x\)服从高斯分布（或者称为正态分布,Gaussian distribution/Normal distribution），将\(x\)记作\(x∿

异常检测算法的评价·关键变量 异常检测算法的实数评价 实数评价 评估学习算法的重要方法是实数评价，即对评价的指标返回一个实数，通过实数的大小来直观表示学习算法在这一指标上的优劣性。 假设有一系列带标签（标记正常或者异常）的数据集用于异常检测算法，从数据集中分离出一个无标签的训练集（其中绝大部分的数据都应该是正常/异常的），使用训练集来建立数据集的概率密度模型\(p(x)\)。 接着建立有

异常检测与监督学习的对比 在上一讲：11.3. 异常检测算法的评价中使用的原数据集是一个有标签的数据集，既然如此，那为何不使用监督学习的方法？ 使用监督学习方法来训练并识别异常目标是一个好的办法，和异常检测算法相比，两者适用于不同的数据集条件，具体如下： 类别 异常检测 监督学习 数据集类型 非常少量的正向类（异常数据 \(y=1\)）, 大量的负向类

多元异常检测算法 问题动机 实际问题中的有些异常并不能直接通过一个变量指标观测出来，这时候就需要引入多个变量综合进行分析，比如如下的这个例子。 如图所示，在计算机状态监测中，考虑CPU负载和内存使用两个变量，正常数据在这两个变量上的分布记为红色标记，现在引入一个绿色的异常数据：如果观察绿色的异常数据在分别的两个变量指标上的分布（图右部分），发现这个异常数据很难在整个数据集中被发现，而通过综合

内容推荐问题 引子 通过对之前的部分的学习可以知道：特征在机器学习中扮演着重要的角色，特征的选取对于学习算法的性能有很大的影响。相比于手动编写算法，有一些算法能够自动挖掘特征，而内容推荐算法就是其中的一个典型的例子。 通过对内容推荐算法的学习，能够进一步体会机器学习中特征的重要性。 案例：电影推荐系统 假设现在有一个电影推荐系统，这个系统允许对电影进行0分到5分的评价，这个系统有如下的量

基于内容的推荐算法·内容的特征 系统参数 沿着电影推荐的例子，在上一节中提到过内容推荐系统的相关参数： \(n_u\):用户的数量。 \(n_m\):电影的数量。 \(r(i,j)\)：标记函数，如果\(r(i,j)=1\)则表示第\(j\)个用户已经对第\(i\)部电影进行了评分。 \(y^{(i,j)}\):评分，表示用户\(i\)对电影\(j\)的评分。当且仅当\

协同过滤算法 和基于内容的线性回归模型不同，协同过滤算法能够自动学习所要使用的特征，避免了需要先手动评价“爱情度”和“动作度”这样的不可理喻的事情。 整合到一起 在上一节中利用线性回归模型作出了两个算法分别用于预测用户的取向和电影的内容特征。两个算法的思路分别是；已知电影的特征\(x^{(i)}\)，求出用户的取向\(θ^{(j)}\)；已知用户的取向\(θ^{(j)}\)，求出电影的特征\