ALIS in der Praxis: Wissen, Grenzen und gute Fragen

Leonie

Herzlich willkommen zur dritten Folge des ALIS Podcasts, den wir extra für die ABCERT Schulung in Bad Boll gemacht haben. Ich bin Leonie.

Otto

Und ich bin Otto. Heute wird es praktisch. Wir sprechen darüber, was konkret in ALIS steckt, welche Leitplanken der Chatbot hat und wie ihr als Kontrolleurinnen und Kontrolleure so fragt, dass wirklich etwas Brauchbares zurückkommt.

Leonie

Bevor wir einsteigen, kurz zurück zu Folge 2. Da ging es um LLM und RAG. Otto, wenn du das in zwei, drei Sätzen zusammenfassen müsstest?

Otto

Ein reines Sprachmodell formuliert sprachlich sehr überzeugend. Im Kern rechnet es jedoch mit Wahrscheinlichkeiten und überlegt, welches Wort als Nächstes passt. Deshalb kann es Dinge erfinden, die plausibel klingen. RAG löst das wie bei einer Prüfung mit aufgeschlagenem Buch. Aus einer Datenbank werden passende Textabschnitte geholt, und das Modell antwortet genau auf dieser Grundlage.

Leonie

Und der wichtigste Satz aus der Folge war: RAG senkt das Erfinden von Fakten deutlich, macht das System aber nicht unfehlbar.

Otto

Genau. Ein Chunk kann unvollständig sein, oder die Frage wird missverstanden. Deshalb bleibt die fachliche Letztentscheidung immer beim Menschen, also bei euch. Das nehmen wir heute als roten Faden mit.

Leonie

Dann zur Frage, die sich viele stellen: Was weiß ALIS eigentlich? Zu welchen Themen kann ich als Kontrolleur überhaupt etwas abfragen?

Otto

ALIS besteht im Wesentlichen aus zwei Teilen. Auf der einen Seite gibt es Inhalte, die direkt auf der Website gepflegt und gelesen werden. Auf der anderen Seite sind viele Dokumente hinterlegt, auf die der Chatbot zugreift. Für den ALIS Chatbot sind es mittlerweile einhundertdreiundzwanzig verschiedene Dokumente.

Leonie

123, das ist schon eine ordentliche Bibliothek. Was steht da drin?

Otto

Erstens viele fachliche Kontrollleitfäden zur Öko Verordnung, zur Bio AHV Verordnung, der technische Leitfaden zum Kontrollportal. Dazu Checklisten, Entscheidungsbäume, Dokumente zur Anwendung des Maßnahmenkatalogs, Ausführungshinweise beispielsweise für den Geflügelbereich, Leitlinien zur Weidehaltung und Berechnungshilfen. Zweitens Themenblätter zu Fachfragen, zum Beispiel zur Kälberhaltung oder zur Anerkennung der Vorbewirtschaftung.

Leonie

Bei der Vorbewirtschaftung muss man ja oft genau hinschauen. Da geht es um die rückwirkende Anerkennung von Umstellungszeiträumen.

Otto

Richtig, und dafür ist auch die Durchführungsverordnung vierhundertvierundsechzig aus zwanzigzwanzig hinterlegt. Schon im ersten Artikel steht, welche Dokumente der Unternehmer vorlegen muss. Etwa Karten, auf denen jede Parzelle ausgewiesen ist, oder eine detaillierte Risikoanalyse der Kontrollstelle. Wenn du auf dem Betrieb stehst und dir nicht sicher bist, welche Unterlagen zur rückwirkenden Anerkennung gehören, kannst du ALIS genau das fragen und bekommst die Fundstelle gleich mit.

Leonie

Und die Rechtsgrundlagen insgesamt?

Otto

Die sind breit abgedeckt. Es ist die Basisverordnung achthundertachtundvierzig aus zweitausendachtzehn hinterlegt und viele Durchführungsverordnungen wie die vierhundertvierundsechzig aus zwanzigzwanzig oder die elfhundertfünfundsechzig aus einundzwanzig, um nur ein paar zu nennen. Die Verordnung vierhundertvierundsechzig aus zwanzigzwanzig regelt unter anderem Besatzdichten sowie Mindeststallflächen und Außenflächen für Tierarten wie Mastschweine oder Kälber, außerdem Vorgaben zu Geflügelställen und Sitzstangen. Die Verordnung elfhundertfünfundsechzig aus einundzwanzig betrifft zugelassene Stoffe im Pflanzenbau, Düngemitteln, Futtermitteln und in der Lebensmittelverarbeitung. Dazu kommen die FAQs der EU Kommission und die FAQs und Auslegungen der LÖK, der Länderarbeitsgemeinschaft Ökologischer Landbau.

Leonie

Und wenn ein Betrieb Verbandsmitglied ist? Da gelten ja oft strengere Regeln als im EU Recht.

Otto

Dafür sind die Richtlinien von Bioland, Biokreis, Naturland und GÄA hinterlegt. Außerdem horizontales Recht, zum Beispiel die Düngeverordnung und die Tierschutz Nutztier Verordnung. Wichtig ist, dass ihr in der Frage sagt, welchen Rahmen ihr meint: EU Recht, Verband oder beides.

Leonie

Zwei Dinge fehlen noch, die ich praktisch finde. Das eine sind die Ansprechpersonen.

Otto

Ja. ALIS liefert nicht nur Fachwissen, sondern auch interne Verantwortlichkeiten und Informationen zu Kolleginnen und Kollegen, die ihr bei Spezialfragen direkt ansprechen könnt. Und auf der Startseite gibt es die Rubrik Aktuelles. Neuigkeiten sieht dort jeder sofort, und man kann später im Chat dazu nachfragen.

Leonie

Jetzt die Frage, die mich am meisten beschäftigt: Wie stellt ABCERT sicher, dass der Chatbot nicht einfach drauflosplaudert? In Folge 2 haben wir ja gesehen, wie schnell ein Modell überzeugend daneben liegen kann.

Otto

Dem Chatbot wurde eine feste Rolle mitgegeben, mit klaren Anweisungen. Er ist ein KI gestützter Support Mitarbeiter und Experte für die hinterlegte Wissensdatenbank. Seine Hauptaufgabe ist, Nutzerinnen und Nutzern bei ihren Anfragen zu helfen.

Leonie

Und was darf er nicht?

Otto

Er soll ausschließlich auf Basis der Wissensdatenbank antworten. Fragen, die sich nicht darauf beziehen, beantwortet er nicht. Und er soll sicher sein, dass die Antwort in den Quellen gedeckt ist. Wenn die Richtigkeit dort nicht belegbar ist, gibt er keine Antwort.

Leonie

Das ist genau die Open Book Logik aus Folge 2, nur mit einer Anweisung obendrauf: Wenn es im Buch nicht steht, sag es und erfinde nichts.

Otto

So kann man es sagen. Praktisch heißt das: Wenn du ihn fragst, wie das Wetter wird oder welches Auto du kaufen sollst, wird er das ablehnen. Und wenn deine Frage zwar zum Thema passt, die Antwort aber in keinem der 123 Dokumente steht, muss er das klar sagen, statt etwas zu erfinden.

Leonie

Das beruhigt mich, weil eine ehrliche Lücke besser ist als eine hübsch formulierte Vermutung. Was ist mit den Quellen?

Otto

Quellennachweise gehören zu jeder Antwort. Das ist eine feste Vorgabe, damit du nachlesen kannst. Und er soll Rückfragen stellen, wenn deine Frage nicht eindeutig ist. Fragst du zum Beispiel nach Auslauf, und es bleibt offen, ob Legehennen oder Masthühner gemeint sind, dann darf und soll er nachhaken.

Leonie

Dann gibt es noch eine harte Grenze, über die wir sprechen sollten.

Otto

Der Chatbot macht keine Rechtsberatung und soll auch nicht den Eindruck erwecken. Er gibt dir wieder, was in den hinterlegten Texten steht. Ob daraus im Einzelfall eine Abweichung folgt und welche Konsequenz das hat, ist eine Bewertung, und die bleibt bei euch und bei ABCERT.

Otto

Gut fragen: Vier Fehler und fünf Elemente

Leonie

Kommen wir zu dem Teil, der euch im Alltag am meisten bringt: Wie sollte ich mit dem Chatbot sprechen? ABCERT hat dafür Prompting Regeln in den FAQs von ALIS hinterlegt.

Otto

Ein Prompt ist einfach die Handlungsanweisung an den Chatbot. Und je genauer sie ist und je weniger Interpretationsspielraum sie lässt, desto besser wird die Antwort. Das hängt auch mit RAG zusammen: Das System sucht anhand deiner Frage die passenden Textstellen. Eine schwammige Frage findet schwammige Stellen.

Leonie

Lass uns über typische Fehler beim promten sprechen.

Otto

Ja, lass uns die typischen Prompting Fehler besprechen.

Leonie

Es gibt vier typische Fehler. Fehler eins: zu vage. Stell dir vor, du sollst auf dem Acker eine Blattprobe ziehen. Du tippst: Was muss bei der Probenahme beachtet werden?

Otto

Das ist ein Klassiker. Gemeint ist ja etwas ganz Bestimmtes. Besser sind zwei konkrete Fragen: Wie groß muss die Probemenge für Blattproben sein? Und: Von welchen Stellen sollte die Blattprobenahme auf dem Acker erfolgen? Jede Frage hat ein klares Ziel.

Leonie

Fehler zwei: keine Rolle oder Branche genannt. Jemand fragt: Was gibt es für Dokumentationspflichten?

Otto

Da weiß der Bot nicht, ob es um einen Landwirt, einen Verarbeiter oder einen Händler geht. Besser: Welche Dokumentationspflichten hat ein Futtermittelhersteller bei der Herstellung von Mischfuttermitteln? Jetzt ist klar, über wen wir reden.

Leonie

Fehler drei: kein Ausgabeformat. Das Beispiel mag ich, weil es so alltagsnah ist. Wie viel Platz braucht ein Schwein?

Otto

Darauf kann der Bot eine Zahl nennen, aber welche? Mastschweine haben ja je nach Gewicht ganz unterschiedliche Anforderungen. Besser: Liste die benötigte Mindeststallfläche in Quadratmetern pro Mastschwein in Abhängigkeit vom Lebendgewicht auf. Dann bekommst du eine saubere Aufstellung nach der Durchführungsverordnung 464 aus 2020, Anhang eins Teil drei. Als Orientierung: Bei Tieren bis 35 Kilogramm sind es null Komma sechs Quadratmeter Stallfläche und null Komma vier Quadratmeter Außenfläche, bei Tieren über 110 Kilogramm ein Komma fünf Quadratmeter Stallfläche und ein Komma zwei Quadratmeter Außenfläche.

Leonie

Und die Zwischenstufen stehen dann in der Tabelle, die ALIS liefert. Die Zahlen solltet ihr aber auch dort wieder an der Quelle gegenchecken.

Otto

Unbedingt. Dazu kommen wir gleich. Fehler vier ist übrigens der, den ich am häufigsten erwarte: zu viele Aufgaben in einem Prompt.

Leonie

Das Beispiel kommt aus dem Tiertransport. Jemand schreibt: Wann ist ein Tiertransport nicht kontrollpflichtig, wie lange darf Schlachtvieh höchstens transportiert werden und welche Lieferpapiere müssen mitgeführt werden? Drei Fragen in einem Satz.

Otto

Und der Bot muss dann entscheiden, wie viel Aufmerksamkeit jede bekommt. Die bessere Lösung heißt Prompt Chaining. Du zerlegst die Aufgabe in Schritte. Erst: Wann ist ein Tiertransport zu einer Schlachtstätte nicht kontrollpflichtig? Dann: Wie lange darf Schlachtvieh höchstens transportiert werden? Und zuletzt: Welche Lieferpapiere müssen beim Transport von Großvieh zur Schlachtstätte mitgeführt werden?

Leonie

Das ist ein Dialog, kein Formular. Wenn der Bot zwischendurch nachfragt, beantwortet man das einfach, und man fragt auch nicht dreimal dasselbe. Die Rückfragen helfen ihm, deine Frage richtig einzuordnen.

Otto

Genau. Das Prinzip des Zerlegens in kleine Schritte wird übrigens auch in Leitfäden von Verwaltungen zum Umgang mit KI empfohlen, zum Beispiel von der Staatskanzlei des Kantons Bern. Das ist also keine ABCERT Eigenheit, sondern gängige Praxis.

Leonie

Wenn man das alles zusammenfasst: Ein guter Prompt hat fünf Elemente. Otto?

Otto

Erstens die Rolle: Wer fragt, oder auf wen zielt die Frage, Kontrolleur, Unternehmen, Betriebstyp? Zweitens das Ziel: Was willst du genau wissen? Drittens der Kontext: Welche Rahmenbedingungen sind relevant? Viertens Einschränkungen, also was du nicht wissen willst. Und fünftens das Ausgabeformat, zum Beispiel Tabelle, Checkliste oder Stichpunkte.

Leonie

Das Beispiel für Einschränkungen finde ich schön. Wie viel Sitzstangenlänge in Metern ist für Geflügel vorgeschrieben, ohne Mastgeflügel? Dieses ohne Mastgeflügel spart dir den ganzen Ballast.

Otto

Und mit Ausgabeformat wird daraus: Bitte liste in einer Tabelle auf, wie viel Sitzstangenlänge in Metern für Geflügel vorgeschrieben ist, ohne Mastgeflügel. Damit hast du Rolle, Ziel, Einschränkung und Format in einem Satz. Die Verordnung 464 aus 2020 verlangt übrigens in Artikel 15, dass Geflügelställe Sitzstangen oder erhöhte Sitzebenen haben. Die konkreten Werte stehen im Anhang, und genau dort schaut ALIS nach.

Leonie

Jetzt noch die Frage dahinter: Wie wird sichergestellt, dass der Chatbot dauerhaft gute Antworten gibt?

Otto

Die Wissensmanager von ABCERT schauen sich regelmäßig an, welche Fragen gestellt wurden und was ALIS geantwortet hat. Lag der Chatbot falsch, wird eine Korrektur hinterlegt. So wird das System kontinuierlich besser.

Leonie

Aber bei der Menge an Fragen können sie unmöglich alles lesen.

Otto

Stimmt, deshalb unterstützt das System dabei und markiert Antworten, die noch einmal geprüft werden sollten. Und hier könnt ihr alle mithelfen: Jede Antwort lässt sich mit Daumen hoch oder Daumen runter bewerten. Das ist kein Schnickschnack. Es hilft dabei, die Qualität nachhaltig zu verbessern, und die Wissensmanager können schlechte Antworten schneller finden und korrigieren.

Leonie

Die Frage, die sich damit aufdrängt und die sich bestimmt manche leise stellen: Kann ABCERT sehen, wer was gefragt hat? Wenn ich eine vermeintlich dumme Frage stelle?

Otto

Nein, das ist nicht möglich. Alle Fragen werden anonym an den Chatbot gestellt. Datenschutz wird bei ABCERT großgeschrieben. Also fragt ruhig auch das, was ihr euch im Kollegenkreis vielleicht nicht trauen würdet.

Leonie

Zum Schluss der Bogen zu Folge 2. Da haben wir gesagt, RAG ist eine Prüfung mit aufgeschlagenem Buch. Aber auch dann kann man sich verlesen.

Otto

Ja, und deshalb gilt: Antworten immer mit kritischem Blick lesen und gedanklich prüfen. Passt das zu dem, was ich kenne? Klingt die Zahl plausibel? Und wenn du dir nicht ganz sicher bist, öffne die angegebene Quelle und lies die Stelle im Original nach. Ein unvollständiger Chunk oder ein Missverständnis kann auch ein sehr gutes System aus dem Tritt bringen.

Leonie

Praktisch heißt das: Du recherchierst auf dem Betrieb, ALIS nennt dir eine Mindestfläche, und du schaust im Zweifel kurz in die Verordnung, bevor du etwas im Kontrollbericht festhältst.

Otto

Genau. Der Chatbot ist ein starkes Werkzeug zum Recherchieren und zur Entlastung. Aber die Entscheidung bei einer Kontrolle auf dem Hof oder im Verarbeitungsbetrieb trifft immer ein Mensch, nämlich die Kontrolleurin oder der Kontrolleur.

Leonie

Und das üben wir in Bad Boll. Dort geht es tiefer, ihr probiert es praktisch aus, entwickelt ein Gespür dafür, wie Vertrauen entsteht, wo die Grenzen liegen und wofür ALIS nicht geeignet ist.

Otto

Bis dahin nehmt ihr mit: konkret fragen, in Schritten fragen, Quellen lesen und Daumen vergeben. Danke fürs Zuhören.

Leonie

Bis zur nächsten Folge.