Newtonova metoda volí směr v bodě $\vx$ vzhledem k Hessově matici $\mP = \nabla^2 f(\vx)$, tedy dle výpočtů výše
kde $\vc = \nabla f(\vx)$. Tj. bez pro nás nepodstatného normalizačního faktoru dostáváme
Opět učiňme na tomto místě pouze několik obecných poznámek:
Tato metoda je jistě výpočetně náročnější, v každém kroku ještě musíme řešit soustavu lineárních rovnic. Opravdu není potřeba počítat maticovou inverzi, směr $\Delta \vx$ je řešením nehomogenní lineární soustavy
Pokud to lze, tak to ale většinou stojí za to. Lze očekávat podstatně lepší míru konvergence než u obyčejné gradientové metody. Existují různé upravené verze této metody, které nepočítají celou Hessovu matici a příslušnou soustavu, ale snaží se jí například iterativně aproximovat.
Pro kvadratickou funkci uvedenou níže nepřekvapivě dostáváme směr přímo k $\theta$.
Nepleťte tuto metodu s Newtonovou metodou v BI-MA1.
Na Obrázku 9.14 opět uvádíme opět ukázku pro funkci $f(x,y) = \frac{1}{9}x^2 + y^2$. Protože jde ale o kvadratickou funkci, není překvapivé, že Newtonova metoda přesně vystihne směr k bodu $\theta$.
Pojďme chování Newtonovy metody podrobněji prozkoumat na funkcích tvaru $f(x,y) = \alpha x^m + \beta y^n$, kde $\alpha, \beta > 0$ a $m,n$ jsou kladná sudá přirozená čísla. V takovémto případě má funkce $f$ právě jedno lokální (i globální) ostré minimum v bodě $\theta$. Pro její gradient platí
a pro Hesseovu matici pak
V bodě $(x,y)^T \neq \theta$ tak Newtonova metoda volí směr
Pokud platí rovnost $m = n$, pak Newtonova metoda vždy volí přímý směr k extrému! Chování znázorněné na Obrázku 9.14 tak bude totožné například i pro funkci $f(x,y) = \frac{1}{9}x^4 + y^4$.
V případě $m \neq n$ (stále obě kladná sudá) se již nevydáme zcela nejpřímějším směrem k minimum. Toto chování ilustruje Obrázek 9.15 na funkci $f(x,y) = x^4 + y^2$.