V této sekci projdeme několik příkladů a ukážeme použití právě vybudované teorie. Volíme relativně jednoduché příklady, které lze i hezky vizualizovat.
Nalezněte extrémy a sedlové body funkce
Podrobněji: nalezněte všechny stacionární body a rozhodněte, zda-li je v nich nabýván extrém a určete jeho typ. Případně existenci extrému ve stacionárním bodu vyvraťte.
Definičním oborem této funkce je $D_f = \R^2$. Funkce je polynom, který má spojité všechny své parciální derivace. Pro gradient platí
Jeho nulovost je ekvivalentní podmínkám
které nutně vyžadují $x^3 = y^3$, tj. $x = y$. Dosazením do původních rovnic dostaneme podmínku $x^3 - x = x (x^2 - 1) = 0$. Stacionární body existují proto celkem $3$:
Pro Hessovu matici funkce $f$ dále platí
Ve stacionárních bodech pak máme
První matice je PD podle Sylvesterova kritéria (Věta 8.3): $10 > 0$ a $100 - 4 = 96 > 0$. V bodech $\va$ a $\vc$ má naše funkce proto ostrá lokální minima.
Druhá matice je NSD, stačí provést jednoduchou úpravu na čtverec: $-2x^2 - 4xy - 2y^2 = -2 (x+y)^2$. Naše kritéria proto ohledně ne/existence extrému v bodě $\vb$ nic neimplikují. Musíme provést podrobnější inspekci.
Pro naší funkci platí $f(x,y) = x^4 + y^4 - x^2 - 2xy - y^2 = x^4 + y^4 - (x + y)^2$. Pokusme se vhodně využít tohoto rozkladu na součet kladné a záporné části. Využitím u $\vb = \theta$ podstatnějšího (ale vynulovatelného) záporného členu se zkusme k bodu $\theta$ blížit následujícími dvěma způsoby:
V bodě $\vb$ proto extrém nenastává. Vzhledem k výše popsanému chování bychom ho také mohli označit za sedlový bod. Na Obrázku 9.9 pro ukázku uvádíme graf této funkce.
Tuto podkapitolu lze považovat také za samostatný příklad, ale většího a důležitějšího rozsahu. Ukážeme jednu z možných metod jak tzv. „proložit data křivkou“, tedy jak provést tzv. „regresi“.
Předpokládejme, že máme k dispozici sadu dat $\{(x_i,y_i)\}_{i=1}^n$ a chceme nalézt lineární kombinaci daných funkcí $f_1,f_2,\ldots,f_m$, tj. funkci
tak, aby funkční hodnoty funkce $f$ v bodech $x_i$ co nejlépe odpovídaly hodnotám $y_i$ pro každé $i\in\hat{n}$. Alternativně: snažíme se dobře vystihnout hypotetickou závislost $y \approx f(x)$.
Úkolem je určit neznámé koeficienty lineární kombinace: $c_1,c_2,\ldots,c_m$.
Předpokládejme, že $m\leq n$. To není na závadu, neboť typicky je množství dat $n$ mnohem větší než počet funkcí $m$.
Funkce $f_i$ mohou být např. voleny tak, že $f_i(x)=x^{i}$. V tomto případě prokládáme data polynomiální křivkou. Funkce $f_1,f_2,\ldots,f_m$ nelze volit úplně libovolně, jedna podmínka svazující funkce $f_1,f_2,\ldots,f_m$ a data $x_1,x_2,\dots,x_n$ nám vypadne z výpočtu dále.
Metoda nejmenších čtverců spočívá v myšlence minimalizovat kvadrát celkové chyby mezi $y_i$ a $f(x_i)$. Přesněji, hledáme hodnoty $c_1,c_2,\ldots,c_m$ tak, aby hodnota
byla co nejmenší. Zde jsme označili
Matice $\mA\in\R^{n,m}$ je dána hodnotami jednotlivých funkcí $f_1,f_2,\ldots,f_m$ v bodech $x_1,x_2\dots,x_n$:
Metodu nejmenších čtverců tedy můžeme shrnout takto
Aplikujme analytický postup pro hledání extrémů funkcí více proměnných. Předpokládejme navíc, že matice $\mA$ má plnou hodnost, tzn. $h(\mA)=m$ (předpokládáme $m \leq n$).
Nejprve hledejme gradient funkce $F$. Pro její parciální derivaci platí
Pro její gradient proto platí
kde spodní index u symbolu $\nabla_\vc$ nám připomíná, vůči kterým proměnným derivujeme.
Hledáme bod $\vc$, kde $\nabla_\vc F (\vc) = \theta$. Protože $\mA$ má dle předpokladu plnou hodnost, je matice $\mA^T \mA\in\R^{m,m}$ regulární. Z rovnosti (9.4) potom dostáváme řešení
resp. umíme vždy vyřešit příslušnou nehomogenní lineární soustavu.
Hessovou maticí funkce $F$ je shodou okolností právě matice $\mA^T\mA$ (až na multiplikativní číselný faktor). Skutečně, pro prvek Hessovy matice funkce $F$ platí
Matice $\mA^T\mA$ je pozitivně definitní, neboť pro $\vx\in\R^{m}$ je
a rovnost nastává pouze pro $\vx = 0$, protože je $\mA^T\mA$ regulární.
Shrnutí: prakticky tedy stačí sestavit příslušnou matici a vyřešit uvedenou soustavu lineárních rovnic.
Představme si jednoduchou situaci, v které máme za úkol data
proložit přímkou.
V předchozím obecné popisu tedy máme $n = 4$, hodnoty $x$ a $y$ jsou uvedeny výše a závislost se snažíme vystihnout lineární kombinací funkcí $f_1(x) = 1$ a $f_2(x) = x$, tj. $m = 2$. Pro matici $\mA$ definovanou v (9.2) v tomto případě platí
Hledané koeficienty lineární kombinace jsou řešením lineární soustavy s maticí
a pravou stranou
Tuto soustavu snadno vyřešíme a dostaneme vektor
Hledanou lineární funkcí proto je
Vizualizaci tohoto výsledku uvádíme na Obrázku 9.10.