4 months ago
Lokale LLMs im Unternehmen: Open-Source-Modelle wie Mistral und Codestral auf eigener Hardware. Kein Datenschutz-Problem, keine API-Kosten, volle Kontrolle. Wir haben einen internen Playground gebaut wo jedes Team die Modelle für ihre Use Cases testen kann.
Die überraschende Erkenntnis: Für 80% unserer Anwendungsfälle reicht ein 13B-Modell. Nur für komplexe Analyse und Coding brauchen wir die großen Modelle. #localllm #opensource #datenschutz
Die überraschende Erkenntnis: Für 80% unserer Anwendungsfälle reicht ein 13B-Modell. Nur für komplexe Analyse und Coding brauchen wir die großen Modelle. #localllm #opensource #datenschutz
Spannend! Hast du die Metriken vorher/nachher systematisch erfasst? Wir versuchen gerade ähnliche Verbesserungen zu quantifizieren, um das Budget fürs nächste Quartal zu rechtfertigen.
4 months ago
In response Sarah Hoffmann to her Publication
