METODY NUMERYCZNE I METODY PROBABILISTYCZNE : listopada 2012

28.11.2012

METODY NUMERYCZNE

METODA MONTE CARLO

27.11.2012

STATYSTYKA MATEMATYCZNA

26.11.2012

APROKSYMACJA

Aproksymacja – proces określania rozwiązań przybliżonych na podstawie rozwiązań znanych, które są bliskie rozwiązaniom dokładnym w ściśle sprecyzowanym sensie. Zazwyczaj aproksymuje się byty (np. funkcje) skomplikowane bytami prostszymi.

Aproksymacja funkcji

Aproksymowanie funkcji może polegać na przybliżaniu jej za pomocą kombinacji liniowej tzw. funkcji bazowych. Od funkcji aproksymującej, przybliżającej zadaną funkcję nie wymaga się, aby przechodziła ona przez jakieś konkretne punkty, tak jak to ma miejsce w interpolacji. Z matematycznego punktu widzenia aproksymacja funkcji $f$ w pewnej przestrzeni Hilberta $H$ jest zagadnieniem polegającym na odnalezieniu pewnej funkcji $g\in G,$ gdzie $G$ jest podprzestrzenią $H$ tj. $G\subset H$ takiej, by odległość (w sensie obowiązującej w $H$ normy) między $f$ a $g$ była jak najmniejsza. Funkcja aproksymująca może wygładzać daną funkcję (gdy funkcja jest gładka, jest też różniczkowalna).

Aproksymacja funkcji powoduje pojawienie się błędów, zwanych błędami aproksymacji. Dużą zaletą aproksymacji w stosunku do interpolacji jest to, że aby dobrze przybliżać, funkcja aproksymująca nie musi być wielomianem bardzo dużego stopnia (w ogóle nie musi być wielomianem). Przybliżenie w tym wypadku rozumiane jest jako minimalizacja pewnej funkcji błędu. Prawdopodobnie najpopularniejszą miarą tego błędu jest średni błąd kwadratowy, ale możliwe są również inne funkcje błędu, jak choćby błąd średni.

Istnieje wiele metod aproksymacyjnych. Jednymi z najbardziej popularnych są: aproksymacja średnio kwadratowa i aproksymacja jednostajna oraz aproksymacja liniowa, gdzie funkcją bazową jest funkcja liniowa.

Aproksymacja punktowa to rodzaj aproksymacji pozwalający przybliżyć zbiór punktów funkcją ciągłą. Aproksymacja ta, w odróżnieniu od większości innych metod aproksymacji, nie wymaga znajomości postaci analitycznej funkcji aproksymowanej.

PROCESY LOSOWE

Procesem losowym nazywamy rodzinę zmiennych losowych
$\{X_t(\omega), t \in T\}$
zależnych od parametru

t

i określonych na danej przestrzeni probabilistycznej

(Ω, A, P)

Innymi słowy proces losowy to losowa funkcja parametru

t

, czyli taka funkcja, która $\forall{t \in T}$ jest zmienną losowa.

Zmienną losową

X t

, którą proces losowy jest w ustalonej chwili $t \in T$ nazywamy wartością tego procesu.

Zbiór wartości wszystkich zmiennych losowych $X_t(\omega), t \in T$ , nazywamy przestrzenią stanu procesu losowego lub przestrzenią stanu.

Jeśli zbiór jest skończony lub przeliczalny, to mówimy o procesach losowych z czasem dyskretnym. W pierwszym wypadku mamy do czynienia z n-wymiarową zmienną losową, a w drugim z odpowiednim ciągiem zmiennych losowych.

Choć niektóre klasy procesów losowych z czasem dyskretnym (np. łańcuchy Markowa) zasługują na uwagę, to jednak w dalszym ciagu skoncentrujemy się na procesach losowych z czasem ciągłym czyli takich, dla których T jest nieprzeliczalne.

Dla głębszego zrozumienia natury procesu losowego spójrzmy nań jeszcze z innej strony. Jak pamiętamy zmienna losowa przyporządkowywała zdarzeniu losowemu punkt w przestrzeni

R n

. W przypadku procesu losowego mamy do czynienia z sytuacją gdy do opisu wyniku doświadczenia niezbędna jest funkcja ciągła, zwana realizacją procesu losowego.
W dalszym ciągu zakładamy, że mamy do czynienia ze skończonymi funkcjami losowymi, a zbiór wszystkich takich funkcji (realizacji) będziemy nazywali przestrzenią realizacji procesu losowego. Prowadzi to do drugiej definicji:

Procesem losowym nazywamy mierzalną względem P transformację przestrzeni zdarzeń elementarnych

Ω

w przestrzeni realizacji, przy czym realizacją procesu losowego nazywamy każdą skończoną funkcją rzeczywistą zmiennej $t \in T$ .

Definicja powyższa wynika ze spojrzenia na proces losowy jako na funkcję dwóch zmiennych $t \in T$ i $\omega \in \Omega$ , ustalając

t

otrzymujemy zmienną losową , a ustalając

ω

otrzymujemy realizację .

Na ogół na przestrzeń realizacji procesu losowego narzuca się pewne ograniczenia np. żeby to była przestrzeń Banacha (niezerowa i zwyczajna).

Reasumując: graficznie można przedstawić te dwa punkty widzenia w następujacy sposób.

Pełne oznaczenie procesu losowego ma zatem postać
$\{X_t(\omega) : t \in T\}$ , lub $X(\omega, t), t \in T, \omega \in \Omega$
przy czym w obu wypadkach zakłada się, że jest określona przestrzeń probabilistyczna $(\Omega, \mathcal{A}, P)$ .

Ponieważ jednak zależność od

ω

jako naturalną zwykle się pomija, otrzymujemy:
$\{X_t : t \in T\}$ , lub $X(t) : t \in T$ .

Ponadto, jeśli zbiór

T

jest zdefiniowany na początku rozważań to pomija się także zapis $t \in T$ i w rezultacie otrzymujemy :

X t

, lub

X (t)

Oznaczenie

X (t)

może zatem dotyczyć całego procesu losowego, jego jednej realizacji (dla ustalonego

ω

) lub jego jednej wartości, czyli zmiennej losowej (dla ustalonego

t

). Z kontekstu jednoznacznie wynika, o co w danym zapisie chodzi.

Przejdźmy do zapisu procesu losowego X(t). Będziemy rozpatrywać wyłącznie procesy losowe rzeczywiste (proces losowy zespolony ma postać:

X (t) = X 1 (t) + i X 2 (t)

, gdzie

X 1 (t)

X 2 (t)

są procesami losowymi rzeczywistymi).

Ponieważ $\forall{t \in T}$ proces losowy

X t

jest zmienną, więc jego pełny opis w chwili

t

stanowi pełny rozkład prawdopodobieństwa tej zmiennej losowej. Rozkład taki nazywamy jednowymiarowym rozkładem prawdopodobieństwa procesu losowego. Jest on scharakteryzowany przez jednowymiarową dystrybuantę procesu losowego, w postaci :

F (x, t) = P [X (t) < x]

Oczywiście rozkład jednowymiarowy procesu losowego nie charakteryzuje wzajemnej zależności między wartościami procesu (zmiennymi losowymi) w różnych chwilach. Jest on zatem ogólny tylko wtedy gdy dla dowolnych układów $t_1, t_2, \cdots$ wartości procesu losowego,są ciągami zmiennych losowych niezależnych, co na ogół nie zachodzi. W ogólności musimy zatem rozpatrywać łączny rozkład wartości procesu w różnych chwilach.

25.11.2012

ZMIENNE LOSOWE

11.11.2012

KORELACJA

Zależność statystyczna zmiennych losowych– związek pomiędzy dwiema zmiennymi losowymi X i Y.
Intuicyjnie, zależność dwóch zmiennych oznacza, że znając wartość jednej z nich, dałoby się przynajmniej w niektórych sytuacjach dokładniej przewidzieć wartość drugiej zmiennej, niż bez tej informacji.

Współczynnik korelacji liniowej
Jednym z najważniejszych mierników wykorzystywanych w analizie korelacji, określania w jakim stopniu zmienne są współzależne lub inaczej też określa poziom zależności liniowej między zmiennymi losowymi, jest współczynnik korelacji liniowej Pearsona.

Jego formuła obliczeniowa jest następująca

r_xy = cov(xy) / S(x) * S(y)

współczynnik jest symetryczny czyli

r_xy = r_yx

Przyjęto oceniać, na podstawie wyniku i znaku, siłę i kierunek współzależności w następujący sposób:

/0,0-0,2/ - współzależność bardzo słaba

/0,2-0,4/ - współzależność słaba

/0,4-0,6/ - współzależność umiarkowana

/0,6-0,8/ - współzależność silna

/0,8-1,0/ - współzależność bardzo silna

Zależność a współczynnik korelacji

Często błędnie zakłada się, że zależność statystyczna jest równoważna niezerowemu współczynnikowi korelacji. Nie jest to prawda. Na przykład zmienne X i Y mogą być związane zależnością:

$Y=X^2\and -1\leqslant X\leqslant 1$

Jest to przykład ścisłej zależności. Jednak zarówno klasyczna korelacja Pearsona , jak i rangowa dadzą wartość zero (dla próbki - bliską zeru), gdyż zależność ta nie jest monotoniczna, ani tym bardziej liniowa.

METODY ITERACYJNE

Metoda Gaussa - Seidela jest metodą iteracyjną i pozwala nam obliczyć układ n równań z n niewiadomymi Ax = b. Wektor x⁰ będący początkowym przybliżeniem rozwiązania układu będzie dany (zwykle przyjmuje się go jako wektor złożony z samych zer). By zastosować tą metodę należy najpierw tak zamienić kolejność równań układu, aby na głównej przekątnej były elementy różne od zera.
Na początku macierz współczynników A rozłożymy na sumę trzech macierzy A = L + D + U, gdzie L jest macierzą w której znajdują się elementy których numer wiersza jest większy od numeru kolumny, D to macierz diagonalna z elementami tylko na głównej przekątnej, a U to macierz, w której znajdują się elementy których numery wiersza są mniejsze od numerów kolumny. Można to zapisać następująco:

Rozpatrzmy układ $\ n$ równań liniowych z $\ n$ niewiadomymi:

gdzie

$\ A$ – macierz układu ( $\ n\times n)$ ,
$\ b$ – zadany wektor ( $\ n$ składowych),
$\ x$ – poszukiwane rozwiązanie (wektor o $\ n$ składowych).

Pojedynczą iterację metody Gaussa-Seidla można zapisać algebraicznie jako

$x^{(k+1)} = \left( {D + L} \right)^{-1} \left( {-U x^{(k)} + b} \right),$

gdzie $\ D$ jest nieosobliwą macierzą diagonalną, a $\ L$ i $\ U$ są odpowiednio macierzą dolnotrójątnąi górnotrójkątną macierzy $\ A$ (tzn. $\ L$ oraz $\ U$ mają zera na głównej przekątnej oraz $\ A \equiv D+L+U$ ), natomiast indeks $\ k = 0,1,2,\ldots$ oznacza numer porządkowy iteracji.
Po rozpisaniu na składowe wzór ten przyjmuje postać używaną w implementacjach numerycznych:

$x^{(k+1)}_i = \frac{1}{a_{ii}} \left(b_i - \sum_{j=1}^{i-1}a_{ij}x^{(k+1)}_j-\sum_{j=i+1}^{n}a_{ij}x^{(k)}_j\right),\, i=1,2,\ldots,n.$ Metoda Gaussa-Seidla jest metodą relaksacyjną, w której poszukiwanie rozwiązania rozpoczyna się od dowolnie wybranego rozwiązania próbnego , po czym w kolejnych krokach, zwanych iteracjami, za pomocą prostego algorytmu zmienia się kolejno jego składowe, tak by coraz lepiej odpowiadały rzeczywistemu rozwiązaniu.
Metoda Gaussa-Seidla bazuje na metodzie Jacobiego, w której krok iteracyjny zmieniono w ten sposób, by każda modyfikacja rozwiązania próbnego korzystała ze wszystkich aktualnie dostępnych przybliżonych składowych rozwiązania. Pozwala to zaoszczędzić połowę pamięci operacyjnej i w większości zastosowań praktycznych zmniejsza ok. dwukrotnie liczbę obliczeń niezbędnych do osiągnięcia zadanej dokładności rozwiązania.