Navigation

Profil

In deinem persönlichen Profilbereich kannst du den Status deiner Bewerbung einsehen, unvollständige Bewerbungen zwischenspeichern und aktuelle News und Events einsehen

Einloggen Registrieren

deDeutsch

enEnglisch

deDeutsch

18. Juni 2025

Was ist ein LLM? | Large Language Models & Sprachmodelle erklärt

Development

Arbeitsmethoden

Was steckt hinter LLMs wie ChatGPT?

Hast Du Dich jemals gefragt, wie große Sprachmodelle wie ChatGPT oder Claude tatsächlich funktionieren? Dann bist Du nicht allein! Die Faszination für sogenannte Large Language Models (LLM) wächst rasant – und das zurecht. Diese Sprachmodelle bilden das Rückgrat moderner KI-Anwendungen und beeinflussen zunehmend, wie wir Informationen finden, kommunizieren und arbeiten.

In diesem Beitrag erklären wir, wie ein LLM funktioniert, was es mit dem Training solcher Modelle auf sich hat, welche Stärken und Schwächen bestehen – und warum diese Technologien die Zukunft der Kommunikation maßgeblich prägen werden. Grundlage dieser Erläuterung sind u.a. die fundierten Erklärungen von Andrej Karpathy, einem führenden KI-Forscher und Mitgestalter bei OpenAI, Tesla und Google.

Was ist ein Large Language Model (LLM)?

Ein Large Language Model ist ein KI-Modell, das mit riesigen Mengen an Textdaten trainiert wird, um menschliche Sprache zu verstehen, zu verarbeiten und selbst Texte zu generieren. Bekannte Beispiele für solche Modelle sind:

• ChatGPT (OpenAI)
• Gemini (Google DeepMind)
• Claude (Anthropic)

Diese Sprachmodelle erkennen Muster, grammatikalische Strukturen und semantische Bedeutungen. Sie „lernen“ Sprache, indem sie Milliarden von Textpassagen analysieren und daraus Regeln und Zusammenhänge ableiten. Ziel ist es, auf jede Texteingabe die statistisch wahrscheinlichste, relevante und kohärente Antwort zu generieren.

Das LLM als komprimiertes Wissensarchiv

Andrej Karpathy beschreibt ein LLM als eine Art „Zip-Datei des Internets“. Das bedeutet: Ein LLM enthält eine komprimierte, statistische Repräsentation des weltweiten Textwissens – Stand Trainingstag. Allerdings ist diese Wissensbasis nicht immer aktuell, weshalb moderne Sprachmodelle zunehmend mit Websearch-Funktionen kombiniert werden, um Zugriff auf tagesaktuelle Informationen zu erhalten.

Stärken und Schwächen von Large Language Models (LLM)

LLMs sind beeindruckend leistungsfähig – doch nicht unfehlbar. Karpathy nutzt die Metapher des Schweizer Käses: Das Modell ist in vielen Bereichen stark, enthält aber auch "Löcher", also unerwartete Schwächen.

Stärken

Vielseitigkeit in Sprache und Stil
Verarbeitung natürlicher Sprache (NLP) auf hohem Niveau
Breites Allgemeinwissen (je nach Trainingszeitpunkt)
Einsatz in zahlreichen Anwendungsbereichen: Content-Erstellung, Kundensupport, Datenanalyse

Schwächen

Keine garantierte Faktentreue (Halluzinationen)
Veraltete Informationen ohne Webzugang
Fehlverhalten bei simplen Aufgaben
Keine echte „Intelligenz“, sondern Wahrscheinlichkeitsberechnungen

Dank kontinuierlichem Reinforcement Learning, besseren Datenquellen und Feedback-Schleifen verbessern sich LLMs jedoch rasant.

Wie entsteht ein Large Language Model (LLM)?

Phase 1: Pretraining und Tokenisierung

In dieser Phase wird das Modell mit gigantischen Mengen an Textdaten aus dem Internet trainiert. Diese Daten werden in Tokens – also kleinste bedeutungstragende Einheiten – umgewandelt. Ziel: Das Modell soll Vorhersagen darüber treffen, welches Token (Wort oder Satzteil) statistisch wahrscheinlich als Nächstes kommt. Das Ergebnis dieser Tokenization-Phase ist ein Modell, das Text basierend auf den aufgedeckten Mustern generieren kann, die es aus den Daten gelernt hat.

Hierzu ein Beispiel: Aus dem Satz „Das Wetter ist heute sehr ___“ soll das Modell „schön“, „warm“ oder „regnerisch“ als passende Ergänzung vorschlagen.

Reasoning-Fähigkeiten, die bereits im Pretraining und durch verschiedene Trainingsmethoden entwickelt werden, ermöglichen es einem LLM, logisch zu denken, Schlussfolgerungen zu ziehen und Probleme zu lösen. Diese Fähigkeiten erlauben es dem Modell auch, seinen eigenen Output zu analysieren und Verbesserungspotenziale zu erkennen.

Mein Tipp an euch: Wer mehr zum Training des Neural Networks lernen möchte, kann sich im Video „Deep Dive into LLMs like ChatGPT“ ab Minute 15 schlau machen.

Phase 2: Supervised Fine-Tuning (SFT)

Nach dem Pretraining folgt das Feintuning: Hier lernt das Modell anhand von menschenbewerteten Beispielen, wie es in realen Konversationen angemessen reagiert. Ziel ist es, relevante, sichere und korrekte Antworten zu liefern. Menschliche Annotatoren geben hier Feedback – ein elementarer Bestandteil im Training.

Phase 3: Reinforcement Learning from Human Feedback (RLHF)

In der finalen Phase wird das Modell mit menschlichem Feedback weiter verbessert. Es lernt, auf gute Antworten mit Belohnung zu reagieren und schlechte zu vermeiden.

RLHF ist heute einer der entscheidenden Gründe für die Qualität aktueller LLMs.

Inferenz-Prozess eines Large Language Models

So funktioniert die Inferenz eines Sprachmodells

Die Inferenz bezeichnet den Moment, in dem ein fertig trainiertes Modell auf neue Eingaben reagiert:

Eingabe: Du gibst eine Frage oder Aufgabe ein.
Tokenisierung: Der Text wird in Tokens zerlegt.
Vorhersage: Das Modell berechnet das wahrscheinlich nächste Token.
Ausgabe: Token für Token entsteht die Antwort – jedes Wort basiert auf dem vorigen Kontext.

Das Modell „denkt“ dabei nicht wie ein Mensch, sondern folgt Wahrscheinlichkeitsmustern, die es im Training gelernt hat.

Schritte im Entwicklungsprozess von Large Language Models

Fazit: Die Zukunft der Sprachmodelle

Large Language Models (LLM) wie ChatGPT oder Gemini stehen am Beginn einer neuen Ära der Mensch-Maschine-Interaktion. Ihre multimodalen Fähigkeiten, die Integration von Bild, Text, Ton und Video, sowie tägliches Feedback durch Nutzer machen sie jeden Tag leistungsfähiger.

Die Einsatzmöglichkeiten sind nahezu unbegrenzt: von personalisierten Assistenten über automatisierte Textgenerierung bis hin zu datenbasierten Geschäftsentscheidungen.

Wer heute versteht, wie ein LLM funktioniert, ist morgen besser gerüstet – sei es als Content Creator, Entwickler oder Entscheider im digitalen Wandel. Ich hoffe, dieser Beitrag hat dir geholfen, ein besseres Verständnis dafür zu gewinnen, wie Large Language Models (LLM) wie ChatGPT funktionieren! :-)

FAQ zu Large Language Models (LLM)

Was bedeutet LLM?
LLM steht für Large Language Model, ein großes Sprachmodell zur Verarbeitung natürlicher Sprache mithilfe von KI.

Wie lernt ein Sprachmodell?
Durch Pretraining mit Milliarden von Textdaten, Feintuning durch Menschen und Reinforcement Learning mit Feedback.

Sind LLMs intelligent?
Nein – sie simulieren Intelligenz auf Basis von Wahrscheinlichkeiten, verfügen aber nicht über echtes Bewusstsein.

Welche LLMs gibt es?
Beispiele sind ChatGPT, Gemini, Claude, LLaMA, Mistral und viele mehr.

Wie aktuell sind die Informationen eines LLMs?
Die Aktualität der Informationen eines LLMs ist durch den Zeitpunkt des letzten Trainings begrenzt - das ist der sogenannte "Knowledge Cutoff". Einige LLMs können zusätzlich auf aktuelle Informationen zugreifen (z.B. durch Websearch oder Datenbankabfragen), aber das LLM selbst enthält nur Wissen bis zu seinem letzten Training. Diese externen Informationsquellen sind dabei nicht Teil des eigentlichen Modells.

Möchtest du Teil des Teams werden?

Jobsuche

34 Personen gefällt das