多元异常检测算法 问题动机 实际问题中的有些异常并不能直接通过一个变量指标观测出来，这时候就需要引入多个变量综合进行分析，比如如下的这个例子。 如图所示，在计算机状态监测中，考虑CPU负载和内存使用两个变量，正常数据在这两个变量上的分布记为红色标记，现在引入一个绿色的异常数据：如果观察绿色的异常数据在分别的两个变量指标上的分布（图右部分），发现这个异常数据很难在整个数据集中被发现，而通过综合

异常检测与监督学习的对比 在上一讲：11.3. 异常检测算法的评价中使用的原数据集是一个有标签的数据集，既然如此，那为何不使用监督学习的方法？ 使用监督学习方法来训练并识别异常目标是一个好的办法，和异常检测算法相比，两者适用于不同的数据集条件，具体如下： 类别 异常检测 监督学习 数据集类型 非常少量的正向类（异常数据 \(y=1\)）, 大量的负向

大规模学习的计算问题·预学习 在机器学习中，起决定因素的往往不是最好的算法，而是谁有大量的数据。机器学习发展的近10年到近5年的时间中，社会生活所产生的数据量不断增大，机器学习更倾向于学习更大规模的数据集。 接下来一章将讨论如何处理大数据集。 ## 计算问题 大数据集学习面临的首要问题是计算问题。 假设训练集大小为\(m=100,000,000\)（这个数据是非常现实的，以美国人口为例，美

基于内容的推荐算法·内容的特征 系统参数 沿着电影推荐的例子，在上一节中提到过内容推荐系统的相关参数： - \(n_u\):用户的数量。 - \(n_m\):电影的数量。 - \(r(i,j)\)：标记函数，如果\(r(i,j)=1\)则表示第\(j\)个用户已经对第\(i\)部电影进行了评分。 - \(y^{(i,j)}\):评分，表示用户\(i\)对电影\(j\)的评分。当且仅当\

内容推荐问题 引子 通过对之前的部分的学习可以知道：特征在机器学习中扮演着重要的角色，特征的选取对于学习算法的性能有很大的影响。相比于手动编写算法，有一些算法能够自动挖掘特征，而内容推荐算法就是其中的一个典型的例子。 通过对内容推荐算法的学习，能够进一步体会机器学习中特征的重要性。 案例：电影推荐系统 假设现在有一个电影推荐系统，这个系统允许对电影进行0分到5分的评价，这个系统有如下的量

协同过滤算法 和基于内容的线性回归模型不同，协同过滤算法能够自动学习所要使用的特征，避免了需要先手动评价“爱情度”和“动作度”这样的不可理喻的事情。 整合到一起 在上一节中利用线性回归模型作出了两个算法分别用于预测用户的取向和电影的内容特征。两个算法的思路分别是；已知电影的特征\(x^{(i)}\)，求出用户的取向\(θ^{(j)}\)；已知用户的取向\(θ^{(j)}\)，求出电影的特征\

协同过滤算法的优化 向量化 设计一个大小为\(n_m × n_u\)的矩阵\(Y\)，其每一个元素表示用户\(j\)对电影\(i\)的评分\(y(i,j)\)。 由于预测的评分由\(θ^Tx\)给出，因此预测评分的矩阵能够表示为： \[Y_{pre}=Θ^TX\] 其中\(X\)是所有电影的特征向量组成\(x\)的电影的特征矩阵，其每一行都是一部电影的特征向量。 \(Θ\)是所有用户倾向

过拟合问题 对于模型，如果一个模型对于数据的偏差很大，不能能够很好的拟合数据的分布，称为欠拟合，或者说这个算法具有高偏差的特性。 如果一个模型虽然可以穿过所有的数据点，但是其图像波动很大，其同样也不能描述数据的分布，（其数据的分布是无法被泛化处理），称为过拟合，或者说这个算法具有高方差的特性。 在这种情况下，模型的参数过于多（有可能代价函数正好为0），以至于可能没有足够多的数据去约束它来获得

代价函数的正则化 对于代价函数： \[min_{θ} \frac{1}{2m} \Sigma_{i=1}^{m}(h_θ(x^{(i)})-y^{(i)})^2\] 增加两个惩罚项\(1000\theta^2_3\)和\(1000\theta^2_4\)，代价函数变为： \[min_{θ} \frac{1}{2m} \Sigma_{i=1}^{m}(h_θ(x^{(i)})-y^{(i)}

线性回归的正则化 正则化的梯度下降算法 在线性回归中，我们使用修改后的梯度下降算法： Repeat { \[θ_0:=θ_0-\alpha\frac{1}{m}\Sigma_{i=1}^{m}(h_θ(x^{(i)})-y^{(i)})x_0^{(j)} \tag{1}\] > \(θ_0\) 不需要正则化 \[θ_j:=θ_j-\alpha[\frac{1}{m}\Sigma