Viele glauben, ein KI-Assistent hole Kontostände selbst aus der Datenbank. Dabei erzeugt das Modell nur einen strukturierten Auftrag – den Code führt aus.

Tool-Use, auch Function Calling genannt, ist ein Muster, bei dem ein Sprachmodell nicht frei formuliert, sondern einen Werkzeugaufruf als strukturierte Daten erzeugt. Es steckt hinter Assistenten, die Termine suchen, Rechnungen prüfen oder Bestellungen nachschlagen.

Zuerst beschreibt die Anwendung dem Modell ihre Werkzeuge. Jedes Werkzeug hat einen Namen, eine Beschreibung und ein Parameterschema, also eine Festlegung, welche Angaben es braucht und in welcher Form. Der Assistent bekommt etwa „kontostand_abfragen“ mit den Parametern „kunde“ und „jahr“. Die Liste steht im Prompt, der Eingabe an das Modell.

Dann entscheidet das Modell, ob ein Werkzeug passt, und antwortet nicht mit Text. Auf die Frage „Wie hoch war der Kontostand von Frau Meier 2024?“ erzeugt es den Aufruf mit kunde="Meier" und jahr=2024. Das Modell kann nur Text erzeugen; es hat keine Verbindung zu Datenbanken oder Rechnern.

Danach führt die Anwendung den Aufruf aus. Sie prüft ihn zuerst gegen das Parameterschema, denn das Modell füllt Parameter manchmal falsch oder erfindet sie. Ob ein Aufruf überhaupt erlaubt ist oder eine Freigabe braucht, entscheidet der Code, nie das Modell.

Zuletzt geht das Ergebnis als neue Eingabe zurück ans Modell. Aus dem Wert aus der Datenbank formuliert es die endgültige Antwort. Die Ausgabe als JSON, also als maschinenlesbares Datenformat nach festem Schema, macht sie maschinell prüfbar; jede Ausgabe sollte gegen das Schema validiert werden.

Das Modell entscheidet also nicht über die Aktion, sondern nur über den Vorschlag. Werkzeuge im Code zu halten, heißt, Kontrolle zu behalten.

📌 Tool-Use · Strukturierte Ausgaben · Ausführung im Code

📚 KI von Grund auf · Tag 4 von 30
#machinelearning #llm #Inferenz