Metoda najmanje kvadrata jedna je od najvažnijih primjena u približavanju funkcija. Ideja je pronaći krivulju takvu da, s obzirom na skup uređenih parova, ova funkcija najbolje aproksimira podatke. Funkcija može biti linija, kvadratna krivulja, kubika itd.
Ideja metode sastoji se u minimiziranju zbroja kvadrata razlika u ordinati (Y komponenti), između točaka generiranih odabranom funkcijom i točaka koje pripadaju skupu podataka.
Metoda najmanjih kvadrata
Prije nego što damo metodu, prvo moramo biti jasni što znači „bolji pristup“. Pretpostavimo da tražimo liniju y = b + mx koja najbolje predstavlja skup od n točaka, naime {(x1, y1), (x2, y2)…, (xn, yn)}.
Kao što je prikazano na prethodnoj slici, ako bi se varijable x i y odnosile linijom y = b + mx, tada bi za x = x1 odgovarajuća vrijednost y bila b + mx1. No, ova se vrijednost razlikuje od prave vrijednosti y, koja je y = y1.
Zapamtite da se u ravnini udaljenost između dviju točaka daje sljedećom formulom:
Imajući to u vidu, za određivanje načina izbora linije y = b + mx koji najbolje aproksimira dane podatke, čini se logičnim da se kao kriterij koristi izbor crte koja minimizira zbroj kvadrata udaljenosti između točaka i ravno.
Budući da je udaljenost između točaka (x1, y1) i (x1, b + mx1) y1- (b + mx1), naš se problem svodi na pronalaženje brojeva m i b tako da je slijedeći zbroj minimalan:
Prava koja ispunjava ovaj uvjet poznata je kao «aproksimacija linije najmanjeg kvadrata točkama (x1, y1), (x2, y2),…, (xn, yn)».
Jednom kada se problem dobije, ostaje samo odabrati metodu za pronalaženje aproksimacije najmanje kvadrata. Ako su točke (x1, y1), (x2, y2),…, (xn, yn) sve na liniji y = mx + b, imali bismo da su kolinearne y:
U ovom izrazu:
Konačno, ako točke nisu kolinearne, tada je y-Au = 0 i problem se može prevesti u pronalaženju vektora u takvom da je euklidska norma minimalna.
Pronalaženje vektora za minimiziranje u nije tako teško kao što možda mislite. Budući da je A nx2 matrica, a u je 2 × 1 matrica, imamo da je vektor Au vektor u R n i da pripada slici A koji je podprostor R n s dimenzijom ne većom od dvije.
Pretpostavit ćemo da je n = 3 da pokaže koji postupak treba slijediti. Ako je n = 3, slika A će biti ravnina ili linija kroz početak.
Neka je v vektor koji minimizira. Na slici opažamo da je y-Au minimiziran kada je pravokotan na slici A. To jest, ako je v minimizirajući vektor, tada se događa da:
Zatim, gore navedeno možemo izraziti na ovaj način:
To se može dogoditi samo ako:
Na kraju, rješavajući za v, imamo:
To je moguće jer je A t A invertibilan sve dok n bodova dati kao podaci nisu kolinearni.
Da bismo umjesto traženja pravca željeli pronaći parabolu (čiji bi izraz bio oblika y = a + bx + cx 2) koja bi bila bolja aproksimacija n podatkovnih točaka, postupak bi bio opisan u nastavku.
Da je n podataka podataka u ovoj paraboli, imali bismo:
Zatim:
Slično možemo napisati y = Au. Ako sve točke nisu u paraboli, imamo da je y-Au različit od nule za bilo koji vektor u, a naš je problem opet: pronađite vektor u u R3 takav da je njegova norma --y-Au-- što manja, Ponavljajući prethodni postupak, možemo doći do traženog vektora:
Riješene vježbe
Vježba 1
Pronađite liniju koja najbolje odgovara točkama (1,4), (-2,5), (3, -1) i (4,1).
Riješenje
Mi moramo:
Zatim:
Stoga zaključujemo da je linija koja najbolje odgovara točkama dana:
Vježba 2
Pretpostavimo da je objekt pao s visine od 200 m. Kako pada, poduzimaju se sljedeći koraci:
Znamo da visinu navedenog objekta, nakon što istekne t, daje:
Ako želimo dobiti vrijednost g, možemo pronaći parabolu koja je bolja aproksimacija pet točaka danih u tablici, i stoga bismo imali da će koeficijent koji prati t 2 biti razumna aproksimacija na (-1/2) g ako je mjerenja su točna.
Mi moramo:
I kasnije:
Dakle, podatkovne točke odgovaraju sljedećem kvadratnom izrazu:
Dakle, morate:
To je vrijednost koja je poprilično blizu ispravne, a to je g = 9,81 m / s 2. Da bi se dobila preciznija aproksimacija g, trebalo bi krenuti od preciznijih opažanja.
Čemu služi?
U problemima koji se javljaju u prirodnim ili društvenim znanostima prikladno je napisati odnose koji postoje između različitih varijabli pomoću nekog matematičkog izraza.
Na primjer, u ekonomiji možemo jednostavnom formulom povezati trošak (C), prihod (I) i dobit (U):
U fizici možemo povezati ubrzanje uzrokovano gravitacijom, vrijeme pada objekta i visinu predmeta po zakonu:
U prethodnom izrazu s o je početna visina navedenog objekta, a v o njegova početna brzina.
Međutim, pronalazak ovakvih formula nije lak zadatak; dežurni profesionalac obično radi s puno podataka i opetovano izvodi nekoliko eksperimenata (kako bi se provjerilo da li su dobiveni rezultati konstantni) kako bi se pronašli odnosi između različitih podataka.
Uobičajeni način da se to postigne je predstavljanje podataka dobivenih u ravnini kao točke i traženje kontinuirane funkcije koja optimalno aproksimira te točke.
Jedan od načina za pronalaženje funkcije koja "najbolje aproksimira" dane podatke jest metoda najmanje kvadrata.
Osim toga, kao što smo vidjeli i u vježbi, zahvaljujući ovoj metodi možemo dobiti prilično približne fizičke konstante.
Reference
- Charles W Curtis Linearna algebra. Springer-Velarg
- Kai Lai Chung. Elementarna teorija izvodljivosti sa stohastičkim procesima. Springer-Verlag New York Inc
- Richar L Burden i J.Douglas Faires. Numerička analiza (7ed). Thompson učenje.
- Stanley I. Grossman. Primjene linearne algebre. MCGRAW-HILL / INTERAMERICANA DE MEXICO
- Stanley I. Grossman. Linearna algebra. MCGRAW-HILL / INTERAMERICANA DE MEXICO