1. Minizer

  1. 全局最小值 Global Minizer
  2. 局部最小值 Local Minizer
    • weak
    • strict
    • 孤立的局部最小值isolated local minimizer

      对于凸函数，局部最小值立即成为全局最小值

2. 局部最小值条件

  1. 一阶必要条件（FIRST-ORDER NECESSARY CONDITIONS）
    1. 函数$f(x)$在点$x^*$可微
    2. 梯度${\nabla f(x^*)=0}$
  2. 二阶必要条件
    1. 满足一阶
    2. hesse矩阵${\nabla^2 f(x^*)}$半正定

半正定值：

  1. 对于所有x不等于0，都有 ${x^TAx≥0}$
  2. 且对某个x不等于0,有 ${x^TAx>0}$

因为hesse矩阵是对称矩阵所以有以下性质：（仅限于对称矩阵！！）
半正定：所有特征值都大于等于0
正定：所有特征值都大于0
负定：所有特征值都小于0

现在虽然知道了确认某点是否为最小值的算法，但是对于如何找到这个点我们还无从得知（总不能把所有点都算一遍吧）

3. 直线探索策略 line search strategy

  1. Line Serch
    设在某点$x_k$，寻找方向$p_k$和步长$\alpha$使得min$f(x_k+\alpha p_k)$
    需求值：方向和步长
  2. Trust Region
    对于点x_k上的近似函数求最小值：min$m_k(x_k+p_k)$。同时，近似函数是有限的，所以可信赖区间需要被确定。
    需求值：近似函数和可信赖区间p