Gradientenabstieg

Gradientenabstieg aktualisiert einen Parametervektor entgegen dem lokalen Gradienten, um eine differenzierbare Zielfunktion zu verkleinern. Die Schreibweise x_k+1=x_k−η∇f(x_k) macht sichtbar, welche Größen zusammenhängen. Dabei bedeuten x_k: Parametervektor im Schritt k (je Parameter); η: positive Schrittweite (x² pro f); ∇f(x_k): Gradient des Ziels (f pro x). η hat Einheiten x²/f, damit η∇f dieselbe Einheit wie x hat; oft sind Parameter dimensionslos skaliert. Für die Anwendung ist entscheidend, ob die gegebenen Größen dieselbe Bedeutung und Bezugsrichtung wie in der Definition haben. Typische Aufgaben verwenden die Beziehung für Maschinelles Lernen, Parameterschätzung und numerische Optimierung großer Funktionen.. Lies daher zuerst die Größen und ihre Dimensionen, bevor du Zahlen einsetzt; so erkennst du zum Beispiel sofort, ob das Ergebnis eine Länge, Rate, Wahrscheinlichkeit oder dimensionslose Kennzahl sein muss.

Beginne mit einer Skizze oder einer Liste der bekannten Größen, ordne jede Größe einem Symbol zu und bringe Einheiten in eine gemeinsame Form. Dann wähle die passende Gleichungsform und setze erst danach Werte ein. Beispiel: f(x)=½(x−3)², x₀=0, η=0,1: f′(0)=−3 und x₁=0−0,1·(−3)=0,3. Probe: Der Schritt geht zum Minimierer 3 und senkt f von 4,5 auf 3,645. Die Probe ist Teil der Rechnung: Bei einer stark konvexen und L-glatten Funktion konvergiert ein geeignet gewähltes konstantes η; zu große Schritte können oszillieren oder divergieren, zu kleine Schritte machen die Konvergenz langsam Vergleiche zusätzlich Größenordnung und Einheit mit dem Sachkontext. Runde erst am Schluss, denn vorzeitiges Runden kann bei mehreren Rechenschritten besonders bei kleinen Differenzen oder Summen sichtbar auf das Ergebnis durchschlagen.

Bei einer stark konvexen und L-glatten Funktion konvergiert ein geeignet gewähltes konstantes η; zu große Schritte können oszillieren oder divergieren, zu kleine Schritte machen die Konvergenz langsam. Lokale Minima, Sattelpunkte und Skalierung beeinflussen praktische Optimierung. Abbruchkriterien beruhen etwa auf Gradientennorm oder Funktionsänderung. Das ist keine nebensächliche Fußnote: Bei einer Verletzung der Annahmen kann die Formel ein präzises, aber unpassendes Ergebnis liefern. Kontrolliere deshalb vor dem Rechnen, welche Werte beobachtet, geschätzt oder modelliert sind und ob Sonderfälle die Gleichung ändern. Maschinelles Lernen, Parameterschätzung und numerische Optimierung großer Funktionen. Bei numerischen Verfahren prüfe außerdem Schrittweite und Stabilität; bei Statistik Stichprobendesign und Verteilung; bei Analysis Differenzierbarkeit, Rand und Orientierung. Verwende eine alternative Methode, wenn diese Bedingungen nicht erfüllt sind.

Beide Beziehungen passen in denselben Themenbereich, beantworten aber verschiedene Fragen. „Gradientenabstieg“: Gradientenabstieg aktualisiert einen Parametervektor entgegen dem lokalen Gradienten, um eine differenzierbare Zielfunktion zu verkleinern. Die Anschlussformel „Newton-Verfahren zur Optimierung“ Das Newton-Verfahren für Optimierung korrigiert Parameter mit inverser Hesse-Matrix und Gradient, um stationäre Punkte einer hinreichend glatten Funktion zu finden. Wähle zuerst nach der gesuchten Größe und dem Modell: Maschinelles Lernen, Parameterschätzung und numerische Optimierung großer Funktionen. Die Beispielrechnung f(x)=½(x−3)², x₀=0, η=0,1: f′(0)=−3 und x₁=0−0,1·(−3)=0,3. Probe: Der Schritt geht zum Minimierer 3 und senkt f von 4,5 auf 3,645. zeigt, welche Größen in dieser Beziehung tatsächlich eingehen. Ein sinnvoller Lernschritt ist, beide Formeln mit denselben Ausgangsdaten zu vergleichen und zu markieren, welche Zusatzannahme die zweite benötigt. So wird aus einer Merkliste eine nachvollziehbare Auswahlregel.

Ein stationärer Punkt ist nicht automatisch ein globales Minimum. Prüfe Krümmung, Schrittweite und Konvergenz; ein einzelner erfolgreicher Schritt begründet noch keine globale Aussage. Zusätzlich müssen die verwendeten Symbole exakt zur Definition passen: x_k: Parametervektor im Schritt k (je Parameter); η: positive Schrittweite (x² pro f); ∇f(x_k): Gradient des Ziels (f pro x). Rechne nicht nur mechanisch, sondern schreibe die Annahme neben den Ansatz und kontrolliere danach Dimension und Vorzeichen. Für die vorliegende Beziehung gelten außerdem: Bei einer stark konvexen und L-glatten Funktion konvergiert ein geeignet gewähltes konstantes η; zu große Schritte können oszillieren oder divergieren, zu kleine Schritte machen die Konvergenz langsam Im Beispiel f(x)=½(x−3)², x₀=0, η=0,1: f′(0)=−3 und x₁=0−0,1·(−3)=0,3. Probe: Der Schritt geht zum Minimierer 3 und senkt f von 4,5 auf 3,645. kannst du diese Prüfungen direkt nachvollziehen. Wenn die Annahme nicht passt, suche eine andere Beziehung aus dem Kapitel statt Werte in eine unpassende Formel zu zwingen.