Amdahlsches Gesetz (Parallel-Speedup)

Amdahls Gesetz schätzt, wie stark ein Programm durch N parallele Einheiten beschleunigt werden kann, wenn nur der Anteil P parallel ausführbar ist. Der Rest 1−P bleibt seriell und setzt eine Obergrenze. Die Formel beschreibt eine Laufzeitrelation, keine Verbesserung jeder Einzeloperation. Ein kleiner serieller Anteil kann bei vielen Prozessoren zum dominierenden Engpass werden. Amdahls Modell nimmt unveränderte Arbeit, keine Parallelisierungskosten und gleiche Verarbeitungseinheiten an. Das Ergebnis ist eine theoretische Grenze; reale Synchronisations- und Kommunikationskosten verschlechtern sie. P muss als gemessener Laufzeitanteil verstanden werden, nicht als Anteil paralleler Quelltextzeilen. Berücksichtige die Eingabegröße beim Vergleich.

Der Nenner ist (1−0,8)+0,8/4=0,2+0,2=0,4. Daher ist S₄=1/0,4=2,5. Vier Einheiten liefern in diesem idealisierten Fall nicht den vierfachen Durchsatz, weil ein Fünftel der Laufzeit seriell bleibt. Prüfe, dass P als Anteil zwischen null und eins eingesetzt wird, nicht als Prozentwert 80. Amdahls Modell nimmt unveränderte Arbeit, keine Parallelisierungskosten und gleiche Verarbeitungseinheiten an. Das Ergebnis ist eine theoretische Grenze; reale Synchronisations- und Kommunikationskosten verschlechtern sie. P muss als gemessener Laufzeitanteil verstanden werden, nicht als Anteil paralleler Quelltextzeilen. Berücksichtige die Eingabegröße beim Vergleich.

Für N gegen unendlich geht P/N gegen null. Übrig bleibt Smax=1/(1−P). Bei P=0,8 ist die Grenze also fünf, selbst wenn unendlich viele ideale Prozessoren bereitstehen. Diese Grenze zeigt, warum das Optimieren des seriellen Abschnitts oft mehr bringt als weitere Kerne. Ist P=1, sagt das einfache Modell unbegrenzten Speedup voraus, was reale Systeme wegen Overhead nicht erreichen. Amdahls Modell nimmt unveränderte Arbeit, keine Parallelisierungskosten und gleiche Verarbeitungseinheiten an. Das Ergebnis ist eine theoretische Grenze; reale Synchronisations- und Kommunikationskosten verschlechtern sie. P muss als gemessener Laufzeitanteil verstanden werden, nicht als Anteil paralleler Quelltextzeilen. Berücksichtige die Eingabegröße beim Vergleich.

P ist der Anteil der ursprünglichen Ausführungszeit, der auf dem betrachteten System tatsächlich parallelisiert werden kann. Zähle ihn nicht anhand von Codezeilen oder Funktionen, denn kurze und lange Berechnungen haben verschiedenes Gewicht. Miss repräsentative Läufe und trenne serielle Abschnitte, Synchronisation und Kommunikation. Wenn sich Eingabegröße oder Architektur ändern, kann auch der gemessene Anteil variieren. Amdahls Modell nimmt unveränderte Arbeit, keine Parallelisierungskosten und gleiche Verarbeitungseinheiten an. Das Ergebnis ist eine theoretische Grenze; reale Synchronisations- und Kommunikationskosten verschlechtern sie. P muss als gemessener Laufzeitanteil verstanden werden, nicht als Anteil paralleler Quelltextzeilen. Berücksichtige die Eingabegröße beim Vergleich.

Die Gleichung ignoriert Kommunikation, Synchronisation, Lastungleichgewicht, Speicherbandbreite und Startkosten. Diese Effekte verbrauchen Zeit, obwohl sie nicht zur parallelen Nutzarbeit gehören. Auf kleinen Problemen kann zusätzlicher Parallelisierungsaufwand den Gewinn ganz aufheben. Verwende Amdahl als ideale Obergrenze und miss die konkrete Implementierung mit denselben Eingaben und derselben Messdefinition. Amdahls Modell nimmt unveränderte Arbeit, keine Parallelisierungskosten und gleiche Verarbeitungseinheiten an. Das Ergebnis ist eine theoretische Grenze; reale Synchronisations- und Kommunikationskosten verschlechtern sie. P muss als gemessener Laufzeitanteil verstanden werden, nicht als Anteil paralleler Quelltextzeilen. Berücksichtige die Eingabegröße beim Vergleich.