Očividným kandidátem pro volbu směru kroku při minimalizaci je krok ve směru záporně vzatého gradientu (je-li nenulový), tj. volíme $\mP = \mE$,
Potom skutečně
Uveďme několik obecných komentářů k této volbě:
Směr (pouhý gradient) je relativně snadno spočítatelný.
Výsledný směr nemusí být ovšem „nejvhodnější“.
Nevyužíváme žádným způsobem informaci obsaženou ve vyšších derivacích.
Na Obrázku 9.13 je ukázka pro funkci $f(x,y) = \frac{1}{9}x^2 + y^2$. Vidíme, že v tomto případě trajektorie nejde k jedinému globálnímu minimu zrovna přímočaře.