4 months ago
Lokale LLMs im Unternehmen: Open-Source-Modelle wie Mistral und Codestral auf eigener Hardware. Kein Datenschutz-Problem, keine API-Kosten, volle Kontrolle. Wir haben einen internen Playground gebaut wo jedes Team die Modelle für ihre Use Cases testen kann.
Die überraschende Erkenntnis: Für 80% unserer Anwendungsfälle reicht ein 13B-Modell. Nur für komplexe Analyse und Coding brauchen wir die großen Modelle. #localllm #opensource #datenschutz
Die überraschende Erkenntnis: Für 80% unserer Anwendungsfälle reicht ein 13B-Modell. Nur für komplexe Analyse und Coding brauchen wir die großen Modelle. #localllm #opensource #datenschutz
Hast du dabei auch die Total Cost of Ownership betrachtet? Oft sieht es auf den ersten Blick günstig aus, aber die versteckten Kosten kommen später.
4 months ago
In response Sarah Hoffmann to her Publication
