Was ist ein LLM (Large Language Model)?

Definition

Ein Large Language Model (LLM), auf Deutsch grosses Sprachmodell, ist ein KI-Modell, das mit sehr grossen Textmengen trainiert wurde. Es sagt vorher, welche Wörter in einem Zusammenhang sinnvoll folgen, und kann dadurch Texte verstehen, zusammenfassen, übersetzen, klassifizieren und neu formulieren. Bekannte Beispiele sind Claude von Anthropic, GPT von OpenAI und das Schweizer Modell Apertus. Chat-Anwendungen wie ChatGPT sind Oberflächen, die auf solchen Modellen aufbauen.

Warum das für Unternehmen relevant ist

LLMs machen Aufgaben automatisierbar, die bisher an unstrukturierter Sprache scheiterten:

• E-Mails und Anfragen lesen, einordnen und an die richtige Stelle weiterleiten
• Informationen aus Verträgen, Rechnungen oder Formularen extrahieren
• Antwortentwürfe für Kundendienst oder Offerten erstellen
• Interne Dokumente durchsuchbar machen, zum Beispiel mit RAG

Per Schnittstelle lässt sich ein LLM in bestehende Software einbinden. Kombiniert mit Werkzeugen entstehen KI-Agenten, die Aufgaben selbstständig über mehrere Schritte erledigen.

Grenzen

• Halluzinationen: Ein LLM formuliert auch dann überzeugend, wenn es falsch liegt. Kritische Ergebnisse brauchen Quellen, Prüfregeln oder eine menschliche Freigabe.
• Wissensstand: Das Modell kennt nur, was bis zu seinem Trainingsstichtag öffentlich war. Ihr Firmenwissen muss es über Kontext erhalten.
• Datenschutz: Welche Daten an welchen Anbieter gehen, muss mit dem nDSG vereinbar sein. Details dazu im Artikel KI im Unternehmen und das nDSG.
• Kosten und Latenz: Grosse Modelle kosten pro Anfrage mehr und antworten langsamer. Nicht jede Aufgabe braucht das grösste Modell.

Welches Modell passt, vergleichen wir im Artikel Apertus vs. Claude vs. GPT.

So setzen wir es ein

Softverse integriert aktuelle Frontier-Modelle wie Claude und GPT in Produkte und Abläufe, mit Tests für die Antwortqualität und klaren Regeln, wo ein Mensch entscheidet. Mehr dazu unter KI-Agenten.