梯度下降法 与 最速下降法 的区别

最速下降法与梯度下降法基本上是相同的，就是选择该点梯度的反向方向进行搜索。

梯度下降法中并没有规定步长一定是多少，往往开始人为规定一个步长，然后根据实际情况逐渐缩小步长。

而最速下降法的步长则是在求出梯度方向后，把步长变量带入式中，通过求取函数f()的最小值以获取在该点步长的最佳值。

下面给出一个 最速下降法的一个例题：