Fine-Tuning eines LLM auf 50.000 deutschsprachige Fachartikel. Das Ergebnis überrascht: Auf unserem Benchmark für technische Fragen schlägt das 7B-Modell das Basismodell um 35 Prozentpunkte. Besonders bei Fachbegriffen und kontextabhängigen Antworten.

Wichtigste Erkenntnis: Datenqualität schlägt Datenquantität. Die besten Ergebnisse kamen von 5.000 kuratierten Instruction-Paaren, nicht von den 50.000 unkuratierten Texten. #llm #finetuning #nlp