LLM und RAG: Wie ALIS zu verlässlichen Antworten kommt

Leonie

Willkommen zur zweiten Folge des ALIS Podcasts, extra für die ABCERT Schulung in Bad Boll. Ich bin Leonie.

Otto

Und ich bin Otto. Kurz zurück zu Folge eins: Dort ging es darum, wie die ABCERT Kontrollleitfäden früher als statische PDF Dateien verteilt wurden, und zwar in langen Abständen. Das war aufwendig und ziemlich träge.

Leonie

Mit ALIS, dem ABCERT Leitfaden Informationssystem, gibt es dafür jetzt eine zentrale, interaktive Plattform. Und dazu einen Chatbot, den wir als kognitiven Partner beschrieben haben. Am Ende der Folge haben wir versprochen, dass wir die Technik dahinter entschlüsseln.

Otto

Das lösen wir heute ein. Es geht um zwei Kürzel, die man gerade ständig hört: LLM und RAG. Und ich finde, das ist für Kontrolleure keine Spielerei. Wer sich bei einer Kontrolle auf eine Antwort verlässt, sollte ungefähr wissen, woher diese Antwort kommt.

Leonie

Genau. Wir fangen mit dem LLM an, schauen uns an, was es gut kann und wo es ehrlich gesagt versagt. Danach kommt RAG ins Spiel, und am Ende sehen wir, warum der ALIS Chatbot genau so gebaut ist.

Leonie

Otto, fangen wir ganz vorne an. LLM steht für Large Language Model, auf Deutsch großes Sprachmodell. Was ist das eigentlich?

Otto

Ein LLM ist ein Deep Learning Algorithmus auf Basis künstlicher neuronaler Netze. Diese Netze sind vom menschlichen Gehirn inspiriert und bestehen aus geschichteten Knoten. Das Modell hat typischerweise Milliarden von Parametern. Das sind Variablen, die beim Training eingestellt werden, und man kann sie sich ein bisschen wie gesammelte Erinnerungen vorstellen. Trainiert wird mit riesigen Textmengen, Billionen von Wörtern, zum Beispiel von Webseiten und Wikipedia, Social Media Plattformen. Am Ende kann das Modell Sprache verstehen, zusammenfassen und neue Texte erzeugen.

Leonie

Billionen Wörter, das kann sich kein Mensch vorstellen. Aber wie wird daraus ein Gespräch? Ich tippe eine Frage ein, und es antwortet.

Otto

Da hilft das Fraunhofer Institut IESE mit einer klaren Einteilung in vier Schritte. Schritt eins ist die Tokenisierung. Der Text wird in kleine Einheiten zerlegt, die Tokens heißen. Das sind meist keine ganzen Wörter, sondern Teilwörter. Dafür gibt es Verfahren wie Byte Pair Encoding oder WordPiece. Ein langes deutsches Wort wird also in mehrere Stücke geschnitten.

Leonie

Das passt ja zu unserer Sprache, wir haben schließlich Bandwurmwörter. Und dann?

Otto

Schritt zwei ist das Embedding. Jedes Token wird in einen mathematischen Vektor umgewandelt, also in eine lange Zahlenliste. Das ist so gebaut, dass Tokens mit ähnlicher Bedeutung ähnliche Vektoren bekommen. Und bei den Transformer Modellen kommt noch die Position im Satz dazu, das nennt man Positional Encoding. Das Modell weiß also nicht nur, was ein Token bedeutet, sondern auch, wo es steht.

Leonie

Und das Transformer Modell, das du eben erwähnt hast, ist das, was alles verändert hat?

Otto

Moderne LLMs entstanden 2017 auf Basis dieser Transformer Architektur. Ihr Herzstück ist der Attention Mechanismus, auf Deutsch Selbstaufmerksamkeit. Er erlaubt es dem Modell, beim Verarbeiten eines Satzes den gesamten Kontext zu berücksichtigen und mathematisch zu gewichten, welche Wörter wie stark zusammenhängen. Das Modell arbeitet also nicht stur Wort für Wort von links nach rechts. Laut der Quelle der Weissenberg Group lernt es dadurch auch schneller als herkömmliche Modelle.

Leonie

Dann ist der dritte Schritt vermutlich der eigentliche Kern.

Otto

Ja. Schritt drei ist die Vorhersage. Die Schichten des Netzes, also Aufmerksamkeits und Feedforward Schichten, berechnen für den aktuellen Kontext eine Wahrscheinlichkeit für jedes mögliche nächste Token. Das Fraunhofer Institut nennt das den Kern der LLMs und den Grund, warum sie so groß sind. Schritt vier ist die Dekodierung. Eine Strategie entscheidet, welches Token tatsächlich ausgegeben wird. Bei der einfachsten Variante, Greedy Search, ist es immer das wahrscheinlichste. Andere Strategien, etwa Top K Sampling oder Beam Search, wählen etwas flexibler. Dann geht das Ganze von vorn los, Token für Token, bis die Antwort fertig ist.

Leonie

Moment, das heißt, ein LLM schreibt im Grunde ein Wort nach dem anderen, und jedes Mal fragt es sich: Was passt jetzt am wahrscheinlichsten als Nächstes?

Otto

Genau das. Und das ist wichtig, um die Schwächen später zu verstehen. Zum Training noch kurz: Zuerst gibt es ein unüberwachtes Vortraining mit unbeschrifteten Daten für das allgemeine Sprachverständnis. Danach folgen Instruction Tuning, damit das Modell Anweisungen genauer befolgt, und bei Bedarf eine Feinabstimmung für bestimmte Aufgaben.

Leonie

Dann würde ich sagen: Was kann dieses Wahrscheinlichkeitswunder richtig gut?

Otto

Sprache, und zwar beeindruckend. Ein LLM beherrscht komplexe Satzbildung und kann übersetzen, Texte zusammenfassen und Code schreiben. Es passt sich an unterschiedliche Tonlagen und Kontexte an, und es antwortet schnell, mit geringer Latenz. Die Quellen betonen auch die Flexibilität. Ein Modell lässt sich für viele verschiedene Aufgaben nutzen.

Leonie

Das klingt, als bräuchten wir nichts anderes. Wo ist der Haken?

Otto

Der Haken steckt genau in dem, was wir eben besprochen haben. Das Fraunhofer Institut sagt es deutlich: LLMs sind primär Textgeneratoren. Beim Training wird zwar nebenbei auch Wissen in den Parametern gespeichert, aber es gibt keinen Mechanismus, um dieses Wissen gezielt abzurufen. Das Modell setzt Tokens nach statistischer Plausibilität fort. Plausibel heißt aber nicht automatisch wahr.

Leonie

Und was passiert, wenn dem Modell eine Information fehlt?

Otto

Dann kann es Dinge erfinden. Das nennt man Halluzination, manchmal auch Konfabulation. Die Fachliteratur beschreibt das, etwa Ji und andere im Jahr 2023. Ein Modell präsentiert dann falsche oder erfundene Informationen als Tatsachen. Und das Tückische ist, dass es völlig überzeugend klingt. Stell dir vor, es nennt eine Richtlinie mit Paragraf und Wortlaut, die es so gar nicht gibt.

Leonie

Für einen Kontrolleur im Außendienst wäre das ein echtes Problem. Gibt es noch mehr Schwächen?

Otto

Ja, drei weitere. Erstens der Wissensstichtag. Das Wissen ist auf den Stand der Trainingsdaten eingefroren. Wenn danach eine Verordnung geändert wird, weiß das Modell nichts davon. Zweitens fehlt die Belegbarkeit. Ein Standard LLM kann nicht nachweisen, aus welchem Dokument eine Behauptung stammt. Und drittens der Aufwand. Milliarden Parameter nachzutrainieren, nur um ein paar Fakten zu aktualisieren, ist extrem rechenintensiv, teuer und unflexibel.

Leonie

Wenn ich es zusammenfasse: Ein LLM ist ein brillanter Formulierer, aber kein verlässliches Nachschlagewerk.

Otto

Das trifft es. Und wer sich die Sprachgewandtheit ohne die Gedächtnislücken wünscht, landet bei RAG.

Leonie

RAG steht für Retrieval Augmented Generation. Die Quellen übersetzen es als: Generieren, ergänzt durch Abrufen. Otto, was steckt dahinter?

Otto

Die Grundidee ist eine Arbeitsteilung. Das LLM liefert die Sprachkompetenz, eine angebundene Wissensquelle liefert die Fakten. Das benötigte Wissen kommt also nicht mehr aus dem Modell, sondern, so formuliert es das Fraunhofer Institut, es wird den angebundenen Quellen entnommen. Die Aufgabe des Modells ist dann, die Suchergebnisse im Sinne der Frage zu verwerten, zum Beispiel zusammenzufassen.

Leonie

Und wie läuft das praktisch ab? Ich stelle eine Frage im Chat. Was passiert dann?

Otto

Vorher muss die Wissensbasis vorbereitet werden. Interne Dokumente, bei uns wären das Leitfäden, Richtlinien und FAQs, werden in handhabbare Textblöcke zerlegt, das nennt man Chunking. Ein Embedding Modell wandelt diese Blöcke in Vektoren um, und die landen in einer Vektordatenbank. IBM weist darauf hin, dass die Blockgröße wichtig ist. Sind die Blöcke zu groß, werden sie zu allgemein. Sind sie zu klein, verlieren sie ihren Zusammenhang.

Leonie

Und dann kommt meine Frage dazu.

Otto

Genau. Der Retriever wandelt deine Frage mit demselben Verfahren in einen Vektor um und sucht per semantischer Ähnlichkeitssuche die passendsten Textstellen. Das Fraunhofer Institut berichtet von guten Erfahrungen mit einer hybriden Suche, also Vektorsuche kombiniert mit Stichwortsuche. Dann fügt die Integrationsschicht die gefundenen Passagen und deine ursprüngliche Frage zu einem erweiterten Prompt zusammen. Sinngemäß steht darin: Beantworte die Frage ausschließlich auf Basis dieser Textausschnitte. Erst jetzt kommt der Generator ins Spiel, das Sprachmodell. Es liest die Auszüge und formuliert die Antwort.

Leonie

Ich mag dafür ein Bild. Ein reines LLM ist wie jemand, der eine Prüfung allein aus der Erinnerung an alte Schulbücher beantwortet. Redegewandt, aber mit Lücken und der Versuchung zu raten.

Otto

Und RAG ist dieselbe Person in einer Prüfung mit offenem Buch. Sie schlägt vor der Antwort im aktuellen Nachschlagewerk nach und zeigt auf die Stelle. Die Sprachfähigkeit bleibt gleich, der Unterschied liegt in der Quelle des Wissens.

Leonie

Man könnte jetzt fragen: Warum trainiert man das Modell nicht einfach mit den Leitfäden nach? Das nennt man ja Feinabstimmung.

Otto

Gute Frage, und die Quellen sind sich da erstaunlich einig. Das Fraunhofer Institut schreibt, Feinabstimmung sollte nicht dafür eingesetzt werden, einem LLM Wissen anzutrainieren. Sie kann aber helfen, einen Antwortstil, ein Format oder ein Vokabular zu treffen. IBM beschreibt es ähnlich: Feinabstimmung macht ein Modell mit dem Fachgebiet vertrauter, RAG hilft ihm, relevante Ergebnisse zu liefern, und beides lässt sich kombinieren. Der große Vorteil von RAG: Wenn sich ein Dokument ändert, ändert man die Wissensbasis. Die Gewichte des Modells bleiben unangetastet.

Leonie

Dann kommen wir zu dem, was uns hier in Bad Boll am meisten interessiert. Der ALIS Chatbot ist ein RAG System. Was bedeutet das konkret?

Otto

Das Ziel ist, dass der Chatbot seine Antworten nur aus der von ABCERT hinterlegten Wissensbasis generiert. Das Erfinden von Informationen soll so weit wie möglich minimiert werden. Denn alle Kontrolleure und alle, die mit ALIS arbeiten, sollen sich auf die Antworten verlassen können. Eine freie Antwort aus dem Gedächtnis eines Sprachmodells wäre dafür der falsche Weg. Die Antwort wird an die Leitfadentexte gekoppelt.

Leonie

Und das Thema Aktualität, das schon in Folge eins wichtig war?

Otto

Genau da zahlt sich RAG aus. Wird ein Leitfaden aktualisiert oder eine Richtlinie geändert, wird die Wissensdatenbank aktualisiert. Das Wissen soll stets auf dem neuesten Stand sein, ohne dass das Sprachmodell neu trainiert werden muss. Der Wissensstichtag, den wir vorhin als Schwäche genannt haben, spielt dann keine Rolle mehr. Dazu kommt die Nachvollziehbarkeit. IBM beschreibt, dass RAG Systeme ihre Quellen angeben können, sodass Nutzer die Ergebnisse überprüfen können. Ein Kontrolleur kann also die konkrete Stelle im Leitfaden öffnen und die Grundlage im Original nachlesen.

Leonie

Das klingt fast zu schön. Gibt es auch hier ein Aber?

Otto

Ehrlich gesagt ja. IBM schreibt ausdrücklich, dass RAG das Risiko von Halluzinationen verringern, ein Modell aber nicht fehlersicher machen kann. Eine Antwort kann zum Beispiel unvollständig sein, wenn die Suche nicht alle relevanten Stellen findet, oder eine Frage kann missverstanden werden. Und das Fraunhofer Institut empfiehlt, ein RAG System von Anfang an zu evaluieren, also seine Qualität zu messen.

Leonie

Der Chatbot ist also ein verlässlicher Assistent, aber er nimmt den Kontrolleuren nicht die fachliche Verantwortung ab.

Otto

So ist es. Er beschleunigt das Nachschlagen, er verweist auf die Quelle, und die Endverantwortung bleibt beim Prüfer. Vielleicht ist das auch ein guter Gedanke für die Schulung: Prüfen Sie im Zweifel die angegebene Stelle.

Leonie

Da liegt eine Frage auf der Hand, die sich sicher viele in der Schulung stellen: Warum nutzen wir eigentlich den ALIS Chatbot und nicht einfach das vertraute ChatGPT?

Otto

Der Unterschied ist gewaltig. Ein Standard ChatGPT greift primär auf sein riesiges Allgemeinwissen aus dem weltweiten Internet zurück. Es kennt keine vertraulichen, internen ABCERT Arbeitsanweisungen. Und vor allem: Wenn ChatGPT eine Detailfrage zu einer speziellen Kontrollvorgabe nicht genau weiß, rät es statistisch und erfindet im Zweifel plausible Begründungen, ohne dass du die Quelle nachprüfen kannst.

Leonie

Der ALIS Chatbot hingegen ist fest an das RAG System angebunden. Er schaut gezielt in die geprüften ABCERT Leitfäden, zitiert die Fundstelle und bleibt exakt im Rahmen unserer Kontrollstandards, statt im offenen Internet zu fischen.

Otto

Genau. Zusammengefasst: ChatGPT ist der kreative Allrounder für die Allgemeinbildung, der ALIS Chatbot der disziplinierte Fachberater mit den echten Leitfäden auf dem Tisch.

Leonie

Dann fassen wir zusammen. Ein LLM kann hervorragend formulieren, aber es rät nach Wahrscheinlichkeit und kennt nur den Stand seiner Trainingsdaten. RAG gibt ihm ein aktuelles Nachschlagewerk an die Hand, und der ALIS Chatbot nutzt dafür die Wissensbasis von ABCERT.

Otto

Danke fürs Zuhören. Bis zur nächsten Folge des ALIS Podcasts.