Pytania i zadania kontrolne

1. Kiedy w algorytmach wykorzystujących kierunek poprawy, zadanie poprawy warto rozwiązywać dokładnie,
a kiedy nie? Odpowiedź powinna być przekonywująco uzasadniona.

2. Do znalezienia rozwiązania zadania statycznej, gładkiej optymalizacji nieliniowej bez ograniczeń zastosowano algorytm gradientu sprzężonego. Jakiego rezultatu działania algorytmu możemy oczekiwać? (Inaczej, w żargonie programistów: jakie własności może mieć punkt, który ten algorytm zwróci?) Oczywiście przyjmujemy, że algorytm został poprawnie zaprogramowany.

3. Dla funkcji  $(x_1,x_2)\mapsto f(x_1,x_2)=100(x_2-x_1^2)^2+(1-x_1)^2$ w procesie minimalizacji wyznaczono dwa kolejne punkty: $x^{(k)} = (–1.2,1)$ oraz $x^{(k+1)} = (–1.3,1.07).$
Obliczyć kierunek poprawy w punkcie $x^{(k+1)}$
a) dla algorytmu gradientu sprzężonego w wersji Poljaka – Polaka – Ribière’a;
b) dla algorytmu quasi-newtonowskiego w wersji BFGS ze skalowaniem macierzy początkowej przyjmując $k = 0.$

4. Znaleźć punkt minimalizujący funkcję dwu zmiennych:
$(x_1,x_2)\mapsto f(x_1,x_2)=4x_1^2+x_1-4x_1x_2+3x_2^2$
wykonując stosowne działania arytmetyczno- obliczeniowe zgodnie z
a) algorytmem gradientu sprzężonego w wersji Poljaka – Polaka – Ribière’a;
b) algorytmem quasi-newtonowskim w wersji BFGS i skalowaniem macierzy początkowej.
Jako punkt startowy można przyjąć  $x^{(0)} = (0,0).$
Należy także wykreślić wykres poziomicowy funkcji minimalizowanej i zaznaczyć na nim drogi obu algorytmów.
Dla kontroli wyników: rozwiązaniem zadania jest punkt $x^0=(-\dfrac{3}{16},-\dfrac{1}{8})$.