Gradientenabstieg (Parameterupdate)

Die Beziehung \theta_{t+1}=\theta_t-\eta\nabla J(\theta_t) fasst Gradientenabstieg aktualisiert Modellparameter entgegen dem Gradienten einer Zielfunktion, um diese lokal zu verringern. zusammen. Lies sie als Modell für klar definierte Größen, nicht als automatische Aussage über jede reale Situation. Im Beispiel Für J(θ)=θ² und θ₀=3 ist ∇J=2θ=6. Mit η=0,1 folgt θ₁=3−0,1·6=2,4; J sinkt von 9 auf 5,76. werden die Symbole mit konkreten Werten verbunden und das Ergebnis wird fachlich interpretiert. Gültigkeitsgrenze: Für kleine η zeigt die Taylor-Näherung J(θ−η∇J)≈J(θ)−η||∇J||², weshalb ein Schritt entgegen dem Gradienten lokal abwärts führt. Das garantiert bei endlicher Lernrate keine globale Verbesserung oder ein globales Minimum. Nichtkonvexe Funktionen Quelle: scikit-learn, User Guide, “Stochastic Gradient Descent”.

Schreibe zuerst die gesuchte Größe und alle gegebenen Werte mit ihren Bezeichnungen auf. Setze sie in \theta_{t+1}=\theta_t-\eta\nabla J(\theta_t) ein und prüfe, ob die Einheiten zusammenpassen. Das Beispiel Für J(θ)=θ² und θ₀=3 ist ∇J=2θ=6. Mit η=0,1 folgt θ₁=3−0,1·6=2,4; J sinkt von 9 auf 5,76. liefert eine Rechenprobe: Werte Formel und Ergebnis müssen dieselbe Größenordnung und Bedeutung ergeben; runde erst am Ende. Gültigkeitsgrenze: Für kleine η zeigt die Taylor-Näherung J(θ−η∇J)≈J(θ)−η||∇J||², weshalb ein Schritt entgegen dem Gradienten lokal abwärts führt. Das garantiert bei endlicher Lernrate keine globale Verbesserung oder ein globales Minimum. Nichtkonvexe Funktionen Quelle: scikit-learn, User Guide, “Stochastic Gradient Descent”.

Die Formel gilt nur, wenn die Größen so definiert sind wie in der Quelle und im Hintergrundtext. Prüfe insbesondere Randfälle, Messbedingungen und ob ein Näherungszeichen statt Gleichheit gemeint ist. Ein formal korrektes Einsetzen kann trotzdem fachlich falsch sein, wenn diese Voraussetzungen verletzt werden oder die betrachtete Population beziehungsweise Systemgrenze wechselt. Gültigkeitsgrenze: Für kleine η zeigt die Taylor-Näherung J(θ−η∇J)≈J(θ)−η||∇J||², weshalb ein Schritt entgegen dem Gradienten lokal abwärts führt. Das garantiert bei endlicher Lernrate keine globale Verbesserung oder ein globales Minimum. Nichtkonvexe Funktionen Quelle: scikit-learn, User Guide, “Stochastic Gradient Descent”.

Die angegebene Einheit lautet: θ Parametervektor; η positive Lernrate; J Zielfunktion; Gradientenmaß hängt von θ-Skalierung ab. Vor dem Einsetzen müssen alle Werte auf ein konsistentes Einheitensystem gebracht werden; Anzahlen, Prozentangaben und dimensionslose Verhältnisse sind dabei nicht austauschbar. Die Variablenliste benennt die Rolle jedes Symbols. Einheitenkontrolle erkennt viele Fehler, ersetzt aber nicht die Prüfung, ob die Formelannahmen erfüllt sind. Gültigkeitsgrenze: Für kleine η zeigt die Taylor-Näherung J(θ−η∇J)≈J(θ)−η||∇J||², weshalb ein Schritt entgegen dem Gradienten lokal abwärts führt. Das garantiert bei endlicher Lernrate keine globale Verbesserung oder ein globales Minimum. Nichtkonvexe Funktionen Quelle: scikit-learn, User Guide, “Stochastic Gradient Descent”.

Ein Vergleich hilft, wenn beide Größen dieselbe Aufgabe beantworten, aber unterschiedliche Eigenschaften betonen. Berichte Definition, Eingabedaten, Schwelle oder Aggregation zusammen mit dem Zahlenwert. Die Quelle scikit-learn, User Guide, “Stochastic Gradient Descent”. stützt die hier verwendete Definition; bei anderen Konventionen können Ergebnisse abweichen. Verwende die Kennzahl deshalb passend zum konkreten Lern- oder Analyseziel. Gültigkeitsgrenze: Für kleine η zeigt die Taylor-Näherung J(θ−η∇J)≈J(θ)−η||∇J||², weshalb ein Schritt entgegen dem Gradienten lokal abwärts führt. Das garantiert bei endlicher Lernrate keine globale Verbesserung oder ein globales Minimum. Nichtkonvexe Funktionen Quelle: scikit-learn, User Guide, “Stochastic Gradient Descent”.