Metoda najmanjših kvadratov je ena najpomembnejših aplikacij pri približevanju funkcij. Ideja je najti krivuljo takšno, da ta funkcija glede na niz urejenih parov najbolje približa podatke. Funkcija je lahko črta, kvadratna krivulja, kubična itd.
Ideja metode je sestavljena iz minimiziranja vsote kvadratov razlik v ordinati (komponenti Y), med točkami, ki jih ustvari izbrana funkcija, in točkami, ki pripadajo nizu podatkov.
Metoda najmanjših kvadratov
Preden damo metodo, moramo biti najprej jasni, kaj pomeni "boljši pristop". Predpostavimo, da iščemo črto y = b + mx, ki je najboljša vrsta n točk, in sicer {(x1, y1), (x2, y2)…, (xn, yn)}.
Kot je prikazano na prejšnji sliki, če bi bili spremenljivki x in y povezani z vrstico y = b + mx, bi bila za x = x1 ustrezna vrednost y b + mx1. Vendar je ta vrednost drugačna od prave vrednosti y, ki je y = y1.
Ne pozabite, da je v ravnini razdalja med dvema točkama določena z naslednjo formulo:
Glede na to se za določitev načina izbire črte y = b + mx, ki najbolje približa dane podatke, zdi logično, da kot merilo uporabimo izbiro premice, ki minimizira vsoto kvadratov razdalj med točkami in naravnost.
Ker je razdalja med točkami (x1, y1) in (x1, b + mx1) y1- (b + mx1), se naša težava zmanjša na iskanje števil m in b, tako da je naslednji seštevek minimalen:
Črta, ki izpolnjuje ta pogoj, je znana kot "približevanje črte najmanjših kvadratov točkam (x1, y1), (x2, y2),…, (xn, yn)».
Ko je težava pridobljena, ostane samo izbrati metodo za iskanje najmanjšega približka kvadratov. Če so točke (x1, y1), (x2, y2),…, (xn, yn) vse na premici y = mx + b, bi imeli to, da so kolinearne y:
V tem izrazu:
Končno, če točke niso kolinearne, potem je y-Au = 0 in težavo lahko prevedemo v iskanje vektorja u, tako da je evklidska norma minimalna.
Iskanje minimiziranega vektorja u ni tako težko, kot si morda mislite. Ker je A matrika nx2 in u je matrica 2 × 1, imamo, da je vektor Au vektor v R n in pripada podobi A, ki je podprostor R n z dimenzijo, ki ni večja od dveh.
Domnevali bomo, da je n = 3, da pokažemo, kateri postopek naj sledi. Če je n = 3, bo slika A ravnina ali črta skozi izvor.
Naj je v minimizirajoči vektor. Na sliki opazimo, da je y-Au minimaliziran, ko je pravokoten na sliko A. To pomeni, če je v minimizirajoči vektor, potem se zgodi, da:
Potem lahko to izrazimo na naslednji način:
To se lahko zgodi le, če:
Na koncu, za rešitev v, imamo:
To je mogoče, ker je A t A obrnljiv, dokler n točk, podanih kot podatki, niso kolinearne.
Če bi namesto iskanja črte želeli najti parabolo (katere izraz bi bil v obliki y = a + bx + cx 2 ), ki bi bil boljši približek n podatkovnim točkam, bi bil postopek tak, kot je opisano spodaj.
Če bi bilo v tej paraboli n podatkovnih točk, bi imeli:
Nato:
Podobno lahko zapišemo y = Au. Če vse točke niso v paraboli, imamo, da je y-Au za vsak vektor u drugačen od nič in naša težava je znova: v R3 najdemo vektor u tako, da je njegova norma --y-Au-- čim manjša .
Po ponovitvi prejšnjega postopka lahko pridemo do tega, da je iskani vektor:
Rešene vaje
Vaja 1
Poiščite črto, ki najbolje ustreza točkam (1,4), (-2,5), (3, -1) in (4,1).
Rešitev
Moramo:
Nato:
Zato sklepamo, da vrstico, ki najbolje ustreza točkam, poda:
Vaja 2
Predpostavimo, da je objekt spuščen z višine 200 m. Ko pade, se izvajajo naslednji koraki:
Vemo, da višino omenjenega predmeta po preteku časa t podaja:
Če želimo pridobiti vrednost g, lahko najdemo parabolo, ki je boljši približek petim točkam v tabeli, zato bi imeli koeficient, ki spremlja t 2, primeren približek (-1/2) g, če je meritve so natančne.
Moramo:
In kasneje:
Podatkovne točke so torej v skladu z naslednjim kvadratnim izrazom:
Torej, morate:
To je vrednost, ki je razumno blizu pravilni, to je g = 9,81 m / s 2 . Da bi dobili natančnejši približek g, bi bilo treba izhajati iz natančnejših opažanj.
Za kaj gre?
V problemih, ki se pojavljajo v naravoslovnih ali družbenih vedah, je priročno zapisati razmerja, ki obstajajo med različnimi spremenljivkami, s pomočjo nekega matematičnega izraza.
Na primer, v ekonomiji lahko s preprosto formulo povežemo stroške (C), dohodek (I) in dobiček (U):
V fiziki lahko povežemo pospešek, ki ga povzroči gravitacija, čas padanja predmeta in višino predmeta po zakonu:
V prejšnjem izrazu s o je začetna višina omenjenega predmeta in v o njegova začetna hitrost.
Vendar iskanje takšnih formul ni lahka naloga; Običajno je dolžan strokovnjak, da dela z veliko podatkov in večkrat izvede več poskusov (da bi preveril, ali so dobljeni rezultati konstantni), da najdejo razmerja med različnimi podatki.
Pogost način za dosego tega je, da podatke, pridobljene v ravnini, predstavimo kot točke in poiščemo neprekinjeno funkcijo, ki te točke optimalno približa.
Eden od načinov za iskanje funkcije, ki "podatke najbolje" poda, je metoda najmanjših kvadratov.
Poleg tega, kot smo videli tudi pri vaji, zahvaljujoč tej metodi lahko dobimo dokaj tesne približke fizikalnim konstantam.
Reference
- Charles W Curtis Linearna algebra. Springer-Velarg
- Kai Lai Chung. Elementarna teorija donosnosti s stohastičnimi procesi. Springer-Verlag New York Inc
- Richar L Burden in J.Douglas Faires. Numerična analiza (7ed). Thompson učenje.
- Stanley I. Grossman. Uporaba linearne algebre. MCGRAW-HILL / INTERAMERICANA DE MEXICO
- Stanley I. Grossman. Linearna algebra. MCGRAW-HILL / INTERAMERICANA DE MEXICO