Der Prompt beschreibt das Ausgabeformat in drei Sätzen – und das Modell ignoriert es trotzdem.
Die Antwort ist inhaltlich richtig, aber die Form stimmt nicht. Statt sauberem JSON, dem maschinenlesbaren Datenformat mit festen Feldern, kommt Fließtext mit eingeschobenen Anmerkungen.
Beim Few-Shot-Prompting gibt man dem Modell vor der eigentlichen Aufgabe einige ausformulierte Beispiele für Eingabe und gewünschte Ausgabe mit. Ohne Beispiel spricht man von Zero-Shot-Prompting: Es bleibt nur die Aufgabenbeschreibung, und die gewünschte Form muss in Worten erklärt werden. Genau das gelingt oft nicht, weil sich Formate kaum eindeutig beschreiben lassen – zeigen ist einfacher als beschreiben.
Ein Beispiel: Ein Prompt soll Titel und Stimmung von Rezensionen trennen. In der Zero-Shot-Variante steht nur „Antworte als JSON mit den Feldern titel und stimmung“. In der Few-Shot-Variante folgen erst zwei vollständige Paare aus Eingabetext und fertiger JSON-Ausgabe, dann der neue Fall. Die Formattreue steigt spürbar, denn das Modell lernt am Muster, nicht an der Beschreibung. Kleine Modelle kopieren die Beispiele dabei manchmal wörtlich – auch den Beispieltext statt der echten Antwort.
So prüft man es: Denselben Testfall einmal ohne und einmal mit zwei Beispielen stellen und beide Ausgaben vergleichen. Jede Ausgabe zusätzlich gegen das Schema validieren, denn Formattreue garantiert keine fachliche Richtigkeit.
Dabei gilt die Grenze: Beispiele formen nur das Antwortverhalten. Sie fügen kein Wissen hinzu und heben fachliche Fehler nicht auf – dafür braucht man Fakten im Kontext, etwa durch Retrieval. Und sie kosten Platz im Kontextfenster, der maximalen Zahl an Tokens aus Eingabe und Ausgabe. Few-Shot heißt also nicht „macht das Modell klüger“, sondern „macht die Form vorhersagbar“.
📌 Few-Shot · Muster statt Regeln · Grenzen
📚 KI von Grund auf · Tag 4 von 30
#llm #machinelearning #ki
Die Antwort ist inhaltlich richtig, aber die Form stimmt nicht. Statt sauberem JSON, dem maschinenlesbaren Datenformat mit festen Feldern, kommt Fließtext mit eingeschobenen Anmerkungen.
Beim Few-Shot-Prompting gibt man dem Modell vor der eigentlichen Aufgabe einige ausformulierte Beispiele für Eingabe und gewünschte Ausgabe mit. Ohne Beispiel spricht man von Zero-Shot-Prompting: Es bleibt nur die Aufgabenbeschreibung, und die gewünschte Form muss in Worten erklärt werden. Genau das gelingt oft nicht, weil sich Formate kaum eindeutig beschreiben lassen – zeigen ist einfacher als beschreiben.
Ein Beispiel: Ein Prompt soll Titel und Stimmung von Rezensionen trennen. In der Zero-Shot-Variante steht nur „Antworte als JSON mit den Feldern titel und stimmung“. In der Few-Shot-Variante folgen erst zwei vollständige Paare aus Eingabetext und fertiger JSON-Ausgabe, dann der neue Fall. Die Formattreue steigt spürbar, denn das Modell lernt am Muster, nicht an der Beschreibung. Kleine Modelle kopieren die Beispiele dabei manchmal wörtlich – auch den Beispieltext statt der echten Antwort.
So prüft man es: Denselben Testfall einmal ohne und einmal mit zwei Beispielen stellen und beide Ausgaben vergleichen. Jede Ausgabe zusätzlich gegen das Schema validieren, denn Formattreue garantiert keine fachliche Richtigkeit.
Dabei gilt die Grenze: Beispiele formen nur das Antwortverhalten. Sie fügen kein Wissen hinzu und heben fachliche Fehler nicht auf – dafür braucht man Fakten im Kontext, etwa durch Retrieval. Und sie kosten Platz im Kontextfenster, der maximalen Zahl an Tokens aus Eingabe und Ausgabe. Few-Shot heißt also nicht „macht das Modell klüger“, sondern „macht die Form vorhersagbar“.
📌 Few-Shot · Muster statt Regeln · Grenzen
📚 KI von Grund auf · Tag 4 von 30
#llm #machinelearning #ki
2 Tage vor
