9.6 Gradientová metoda / Gradientní sestup

Očividným kandidátem pro volbu směru kroku při minimalizaci je krok ve směru záporně vzatého gradientu (je-li nenulový), tj. volíme $\mP = \mE$,

\begin{equation*} \Delta \vx \ceq - \nabla f(\vx). \end{equation*}

Potom skutečně

\begin{equation*} \nabla f(\vx) \cdot \Delta \vx = - \|\Delta \vx\|^2 < 0 \end{equation*}

Uveďme několik obecných komentářů k této volbě:

  • Směr (pouhý gradient) je relativně snadno spočítatelný.

  • Výsledný směr nemusí být ovšem „nejvhodnější“.

  • Nevyužíváme žádným způsobem informaci obsaženou ve vyšších derivacích.

Na Obrázku 9.13 je ukázka pro funkci $f(x,y) = \frac{1}{9}x^2 + y^2$. Vidíme, že v tomto případě trajektorie nejde k jedinému globálnímu minimu zrovna přímočaře.

Obrázek 9.13: Ilustrace gradientního sestupu na funkci $f(x,y) = \frac{1}{9}x^2 + y^2$, která je zde znázorněna pomocí svých kontur.