Die meisten kopieren einen PyTorch-Trainingsloop als ganzen Block. Dabei besteht jeder Trainingsschritt aus nur vier Phasen, die immer in derselben Reihenfolge ablaufen.

Wer die Reihenfolge kennt, kann jeden Trainingsloop lesen und jede Zeile einer Phase zuordnen. Das Muster ist in PyTorch überall gleich, vom kleinsten Beispiel bis zum großen Modell.

🧠 Der Vorwärtslauf (Forward Pass) führt die Eingabetensoren durch alle Schichten des Modells und liefert eine Vorhersage, etwa die prognostizierte Klasse für ein Bild. Tensoren und Modell müssen dabei auf demselben Gerät liegen, also CPU, CUDA oder MPS auf Apple Silicon. Gemischte Geräte führen zu Laufzeitfehlern, bevor überhaupt gerechnet wird.

📊 Eine Verlustfunktion (Loss) misst, wie weit die Vorhersagen vom richtigen Ergebnis entfernt sind. Danach ruft der Code optimizer.zero_grad() auf. PyTorch summiert die Gradienten, also die Ableitungen des Verlusts nach den Parametern, standardmäßig auf; ohne zero_grad() vermischen sich die Gradienten mehrerer Schritte. Wer den Aufruf weglässt, sieht scheinbar Lernen, aber das Training wird unzuverlässig.

🔍 loss.backward() berechnet kein Update, sondern schreibt per Autograd in das Feld grad jedes Parameters, wie stark dieser zum Verlust beigetragen hat. Autograd zeichnet beim Vorwärtslauf auf, welche Tensoren voneinander abhängen, und leitet daraus rückwärts die Ableitungen her. optimizer.step() liest dann die Gradienten und verschiebt die Gewichte ein kleines Stück entgegen der Gradientenrichtung.

Der Trainingsschritt ist kein magischer Automat, sondern die feste Reihenfolge Vorwärtslauf, Verlust, Gradienten, Update. Ein Batch ist die Teilmenge der Daten, nach der die Parameter aktualisiert werden; eine Epoche ist der vollständige Durchlauf durch alle Trainingsdaten.

📌 Forward Pass · zero_grad · backward und step

📚 KI von Grund auf · Tag 5 von 30
#PyTorch #machinelearning #deeplearning