Epoche und Batch klingen nach Zeitplänen. Dabei regeln sie nur, wie ein Modell seine Trainingsdaten portioniert.

Beide Begriffe tauchen in jeder Trainingsschleife auf und werden oft verwechselt: Einsteiger halten eine Epoche gern für einen einzelnen Trainingsschritt. Tatsächlich besteht eine Epoche aus vielen Schritten.

Die Epoche ist ein vollständiger Durchlauf durch alle Trainingsdaten. Das Modell sieht jedes Beispiel genau einmal pro Epoche. Hat der Datensatz 1000 Beispiele, endet die Epoche erst, wenn alle 1000 durchgerechnet sind. Eine Epoche allein reicht aber praktisch nie, weil das Lernen aus vielen kleinen Wiederholungen besteht. Typisch sind daher mehrere bis viele Epochen, bis der Verlust (der gemessene Fehler) stabil niedrig ist.

Der Batch ist die Teilmenge der Daten, nach der die Parameter jeweils aktualisiert werden. Der Batch wird durchgerechnet, die Verlustfunktion misst den Fehler, dann werden die Parameter einmal angepasst. Bei 1000 Beispielen und einer Batch-Größe von 100 gibt es also zehn Updates pro Epoche. Vor jeder neuen Epoche werden die Daten meist neu gemischt, damit keine feste Reihenfolge auswendiggelernt wird.

Die Epoche zählt, wie oft das Modell alle Daten sieht. Der Batch legt fest, wie oft pro Durchlauf die Parameter neu justiert werden. Beide sind Hyperparameter – Einstellungen, die vor dem Training festgelegt werden.

Faustregel: Die Batch-Größe wählt man klein genug für den Speicher und groß genug für ruhige Updates; die Anzahl der Epochen so hoch, bis der Verlust nicht mehr sinnvoll sinkt.

Epoche heißt nicht „ein Schritt“, sondern ein ganzer Durchlauf – der Batch macht daraus viele kleine.

📌 Epoche · Batch · Parameterupdate

📚 KI von Grund auf · Tag 2 von 30
#machinelearning #deeplearning #ki