Ein Sprachmodell weiss nicht, was Apfel bedeutet

Ein Sprachmodell liest keinen Text. Es zerlegt alles in sogenannte Tokens: kleine Wortfragmente, umgerechnet in Zahlen. Nichts weiter.

«Der Apfel ist rot» ist für das Modell kein Satz. Es ist eine Zahlenreihe.

Und was macht es damit? Es berechnet, gestützt auf Milliarden von Beispielen, welches Token als nächstes am wahrscheinlichsten kommt. Kein Verstehen. Rechnen. Token für Token, Satz für Satz.

Der Punkt, der alles ändert

Das klingt ernüchternd. Aber genau hier liegt der Hebel:

Wenn die Antwort eine Rechnung ist, dann ist Ihre Eingabe die Gleichung.

Je unklarer Ihre Frage, desto mehr mögliche Antworten, desto generischer das Ergebnis. Je genauer Ihr Zusammenhang, desto enger die Wahrscheinlichkeit, desto brauchbarer die Antwort.

Sie verringern nicht die Fähigkeit des Modells. Sie erhöhen die Wahrscheinlichkeit der richtigen Antwort.

Das ist kein Trick. Das ist die Funktionsweise.

Was das im Alltag heisst

«Schreib mir einen Bericht» lässt dem Modell Millionen von Wegen offen. Es nimmt den durchschnittlichsten.

«Schreib den Zustandsbericht für diese Anlage, gegliedert nach unserer Vorlage, aus diesen Messwerten, im Ton unserer letzten drei Berichte» lässt ihm fast keinen. Es nimmt den, den Sie meinen.

Derselbe Unterschied entscheidet darüber, ob ein Werkzeug im Betrieb hängen bleibt oder nach zwei Wochen niemand mehr öffnet. Nicht das Modell. Die Eingabe.

Warum das niemandem beigebracht wird

Die meisten KI-Schulungen beginnen bei den Werkzeugen. Welches Programm, welcher Knopf, welche Formulierung.

Das ist die falsche Reihenfolge. Wer weiss, dass am anderen Ende eine Wahrscheinlichkeitsrechnung läuft, kommt von selbst darauf, dass eine genauere Frage ein besseres Ergebnis bringt. Wer es nicht weiss, lernt Formulierungen auswendig und versteht nie, warum die eine funktioniert und die andere nicht.

Altrin Muja, Inhaber der Altenery GmbH. Mehr über mich · Alle Beiträge