Dein Lernbereich wird geladen
App wird gestartet …
Dein Lernbereich wird geladen
App wird gestartet …
Die lineare Ausgleichsrechnung wählt Parameter, deren Modellwerte die Summe der quadrierten Abweichungen zu überbestimmten Messdaten minimieren.
Ansehen kostenlos · Karteikarten oder Multiple-Choice-Test · übernehmen ab Essential
Formel
A·x und b müssen dieselbe Einheit haben · Residuen werden in dieser Einheit gemessen
| Symbol | Bedeutung | Einheit |
|---|---|---|
| Designmatrix; jede Spalte skaliert Zielgrößenbeiträge pro Einheit der zugehörigen Modellvariable | Einheit Zielgröße / Einheit Modellvariable | |
| Vektor der beobachteten Messwerte | Einheit des Zielwerts | |
| x̂ | Parameterschätzer mit minimaler quadratischer Residuenlänge | Einheit der jeweiligen Parameterkomponente |
| r = b − Ax̂ | Residuenvektor: Messwert minus Modellwert | Einheit des Zielwerts |
\widehat{\mathbf{x}} = \arg\min_{\mathbf{x}} \|A\mathbf{x}-\mathbf{b}\|_2^2 \quad A^T A\widehat{\mathbf{x}}=A^T\mathbf{b}Bei mehr Messgleichungen als unbekannten Parametern hat A·x = b meist keine exakte Lösung. Gesucht wird dann der Vektor x̂, der ‖A·x − b‖22 minimiert. Im Minimum steht der Residuenvektor senkrecht auf allen Spalten von A: Aᵀ(Ax̂ − b) = 0. Daraus folgen die Normalgleichungen AᵀA x̂ = Aᵀb. Ist A vollen Spaltenranges, ist AᵀA invertierbar und x̂ = (AᵀA)−1Aᵀb. Das ist die geschlossene Lehrbuchform; für numerische Rechnungen sind QR- oder SVD-Verfahren oft stabiler als das explizite Bilden von AᵀA.
Die Minimierungsaufgabe ist definiert für A·x ≈ b. Die eindeutige Lösungsformel (AᵀA)−1Aᵀb gilt nur bei vollem Spaltenrang. Bei Rangmangel gibt es im Allgemeinen mehrere minimierende Parametervektoren; QR oder SVD behandeln auch numerisch heikle Fälle besser.
Am Minimum steht das Residuum senkrecht auf dem Spaltenraum von A.
Normalgleichungen
Sie gelten auch bei nicht-eindeutiger Lösung; die explizite Inversenform braucht vollen Spaltenrang.
Geschlossene Lösung bei vollem Spaltenrang
Eine Lehrbuchform, keine Empfehlung, die Inverse numerisch explizit zu berechnen.
Passe y=a+mt an (0,1), (1,2), (2,2) mit kleinsten Quadraten an.
A=[[1,0],[1,1],[1,2]], b=[1,2,2].
Die Normalgleichungen sind [[3,3],[3,5]][a,m]ᵀ=[5,6]ᵀ; daraus a=7/6 und m=1/2.
Also ŷ=7/6+t/2.
Die inverse Formel auch bei rangdefizientem A verwenden oder eine Inverse ausdrücklich numerisch bilden.
Prüfe zuerst den Rang. Die Normalgleichungen formulieren das Minimum; rechne stabil mit QR/SVD und prüfe Einheiten sowie Residuen.
Formelcluster
Die Matrixform verallgemeinert die lineare Regression auf mehrere Merkmale und Messgleichungen.
Passe y = a + m·t an die Messpunkte (t,y) = (0,1), (1,2), (2,2) an. Mit A = [[1,0],[1,1],[1,2]] und b = [1,2,2] ergeben die Normalgleichungen x̂ = [a,m]ᵀ = [7/6, 1/2]ᵀ. Die Ausgleichsgerade lautet y = 7/6 + t/2; die Residuen sind −1/6, 1/3 und −1/6.
Messdaten an lineare Modelle anpassen, Kalibrierung, Parameterschätzung, Trendanalyse und numerische Modellierung
Eine typische Aufgabe Schritt für Schritt: Lineare Ausgleichsrechnung (Methode der kleinsten Quadrate) (x̂ = arg min ‖Ax − b‖² · AᵀAx̂ = Aᵀb).
Aufgabe
Passe y=a+mt an (0,1), (1,2), (2,2) mit kleinsten Quadraten an.
Rechenweg
A=[[1,0],[1,1],[1,2]], b=[1,2,2].
Die Normalgleichungen sind [[3,3],[3,5]][a,m]ᵀ=[5,6]ᵀ; daraus a=7/6 und m=1/2.
Also ŷ=7/6+t/2.
Nutze sie, wenn mehrere Messungen durch ein Modell beschrieben werden sollen, aber wegen Messrauschen keine Parameter alle Gleichungen exakt erfüllen. Die Methode wählt die Parameter, für die die Summe der quadrierten Residuen am kleinsten ist. Ein typischer Fall ist eine Gerade durch Messpunkte: Die Daten streuen, und die Ausgleichsgerade fasst den Trend zusammen. Bei Messungen mit stark unterschiedlichen Unsicherheiten ist gewöhnliches Least Squares nicht automatisch passend; dann können gewichtete Residuen nötig sein. Auch Ausreißer wirken wegen des Quadrierens besonders stark. Prüfe deshalb Modellannahmen und Daten, bevor du das Ergebnis als verlässliche Vorhersage deutest.
Die Fehlergröße ist ‖Ax−b‖2. Minimiert wird ihre quadrierte Länge. Am Minimum ist die Änderung dieser Größe in jeder Parameter-Richtung null; der Gradient lautet 2Aᵀ(Ax−b). Setzt man ihn gleich null, erhält man AᵀAx=Aᵀb. Geometrisch steht der Messwert-minus-Modellwert-Vektor b−Ax senkrecht auf allen Spalten von A, also auf dem Modellraum. Das erklärt zugleich, warum die Anpassung eine Projektion von b auf diesen Raum ist. Die Normalgleichungen sind daher nicht ein auswendig zu lernender Trick, sondern die Bedingung für das Minimum der quadratischen Fehlerfunktion.
Die explizite Formel setzt voraus, dass A vollen Spaltenrang hat. Dann ist AᵀA invertierbar und die Minimierung besitzt genau eine Lösung. Bei abhängigen Spalten kann AᵀA singulär sein; dann gibt es nicht zwingend einen eindeutigen Parametervektor, auch wenn die beste Approximation Ax eindeutig sein kann. Prüfe daher Rang und Modellidentifizierbarkeit. Für numerische Rechnungen solltest du außerdem nicht einfach eine Matrixinverse ausrechnen: QR-Zerlegung oder Singulärwertzerlegung sind meist stabiler. Die Formel ist hilfreich, um die Lösung mathematisch zu verstehen, aber nicht in jedem Fall der beste Rechenweg.
Nein. Das Bilden von AᵀA quadriert die Konditionszahl einer Matrix und kann Rundungsfehler verstärken, besonders wenn die Spalten von A fast abhängig sind. QR-Zerlegung löst das Ausgleichsproblem meist stabiler, und SVD macht Rangmangel besonders sichtbar und erlaubt eine kontrollierte Pseudoinversenlösung. In einer Grundlagenaufgabe sind Normalgleichungen trotzdem wertvoll: Sie zeigen die Orthogonalitätsbedingung und führen zu einer geschlossenen Formel. Halte aber Theorie und numerische Umsetzung auseinander. Bei realen Daten gehört zur Antwort auch, wie das Verfahren gerechnet wurde und ob kleine Datenänderungen die Parameter stark verändern.
Ein Residuum ist Messwert minus Modellwert; zusammen zeigen die Residuen, wo und wie das Modell danebenliegt. Für eine Anpassung mit Achsenabschnitt summieren sie sich im ungewichteten linearen Kleinste-Quadrate-Modell zu null, aber das beweist keine gute Modellwahl. Zeichne sie gegen Zeit, Messwert oder Vorhersage: Zufällige Streuung um null passt eher zum linearen Modell; ein Bogen oder Trichter deutet etwa auf fehlende Krümmung oder ungleiche Varianz hin. Im Beispiel ŷ=7/6+t/2 lauten die Residuen −1/6, 1/3, −1/6; sie summieren sich zu null, bleiben aber sichtbar. Prüfe stets Muster, Einheiten und Ausreißer.
Quanta-Prüfungsset
Kuratiertes Prüfungsset für "Lineare Ausgleichsrechnung (Methode der kleinsten Quadrate)":
Frage (Vorderseite)
Welche Formel beschreibt Lineare Ausgleichsrechnung (Methode der kleinsten Quadrate)?
Antwort in deinem Set
Frage (Vorderseite)
Wie stellst du x̂ = arg min ‖Ax − b‖² · AᵀAx̂ = Aᵀb nach Normalgleichungen um?
Antwort in deinem Set
Frage (Vorderseite)
Welcher typische Fehler passiert bei x̂ = arg min ‖Ax − b‖² · AᵀAx̂ = Aᵀb?
Antwort in deinem Set
+ 7 weitere Karten: Einheiten, Variablen, Herleitung, Beispiel, Klausuraufgabe
Das Formelset enthält 10 Karten. Nach der Übernahme kannst du sie prüfen und lernen; deine Bewertungen bestimmen die weiteren Wiederholungen.
Die Liste nennt Fachquellen und weiterführende Literatur. Eine Seiten- oder Abschnittsnummer steht dabei, wenn sie Teil der Literaturangabe ist; es handelt sich nicht um wörtliche Zitate.
Erstelle ein kuratiertes FSRS-Prüfungsset für x̂ = arg min ‖Ax − b‖² · AᵀAx̂ = Aᵀb: Formelabruf, Variablen, Herleitung, Umstellung, Beispiel, typische Fehler und Klausurkontext.
Kuratiertes Formelset · LaTeX · FSRS Spaced Repetition · übernehmen ab Essential