最小二乘（LEAST-SQUARES）问题定义

${f_0(x)=||Ax-b||^2_2
=\sum_{i=1}^k({a_i}^Tx-b_i)^2}$

2-范数
${||x||_2=(x,x)^{1/2}=\sqrt{\sum_{i=1}^n x_i^2}}$

最小二乘法

上面的式子可被简化为：
${(A^TA)x = A^Tb}$
${x = (A^TA)^{-1}A^Tb}$
代入原式并求hesse矩阵的话
${\nabla^2 ||Ax-b||^2_2=2A^TA}$
→ 变成了确认 ${2A^TA}$的正定值与否的问题

补充：最小二乘

  • 如下二维平面图中有很多个点，假设我们想用一条直线来拟合数据，即期望能找到一条直线能最好地穿过这些数据点。
  • 一个点就可以构造一个方程，而未知数显然只有两个（直线的斜率和截距），因此这就是一个超定系统，我们是没有办法找到一条完美的直线，使得上述的点都在直线上。因此，我们只能期望找到一条最好的“适配（best fitting line）”直线来拟合这些数据
  • 有x作为自变量，y表示x对应的真实值，$y^hat$表示由拟合直线对应的预测值
  • 找一条直线能使得所有点离这个直线的距离平均值最小的这种近似的结果就是回归分析的目标。
  • 最小二乘法主要包含了两大类方法，一种是线性最小二乘法（Linear Least Squares），一种是非线性最小二乘法（Nonlinear Least Squares）。