1.3. 多变量线性回归

多变量线性回归

多元线性回归

对于多个特征量(Features)，规定符号表示：
\(n\) 特征的总数量
\(x^{(i)}\) 第i个训练样本的输入特征向量，\(i\)表示的是一个索引(Index)
\(x_j^i\) 第i个训练样本中特征向量的第j个值

此时的假设函数不再是单纯的 \(h_θ (x)=θ_0+θ_1 x\) 的形式。
对于多个特征量，此时的假设函数为：
\[ h_θ (x)=θ^T x=θ_0+θ_1 x^{(1)}+θ_2 x^{(2)}+…+θ_n x^{(n)} \]
对这个样本进行简化：
定义\(x_0^i=1\), 定义参数向量：\(x=\left[\begin{smallmatrix} x_0 \\\ x_1 \\\ ... \\\ x_n \end{smallmatrix}\right]n\)，系数向量：\(θ=\left[\begin{smallmatrix}θ_0 \\\ θ_1 \\\ … \\\ θ_n \end{smallmatrix}\right]\)
有：
\[ h_θ (x)=θ^T x \] 这就是假设函数的向量形式。
## 梯度下降算法在多元线性回归中的应用 对于假设函数： \[ \begin{aligned} h_θ(x) & = θ^T x \\\ & =θ_0+θ_1 x^{(1)}+θ_2 x^{(2)}+…+θ_n x^{(n)} \\\ \end{aligned} \] 和损失函数：
\[ J(θ_0,θ_1,…,θ_n)=\frac{1}{2m} ∑_{i=1}^m(h_θ (x^{(i)} )−y^{(i)} )^2 \]
此时的梯度下降算法：

Algorithm
Repeat:{  \(θ_j≔θ_j−α\frac{∂J(θ)}{∂θ_j}\) }
对\(\frac{∂J(θ)}{∂θ_j}\)进行等价变形：
Repeat:{  \(θ_j≔θ_j−α\frac{1}{m}∑_{i=1}^m(h_θ (x^{(i)} )−y^{(i)}) x_j^i\) }