Warum M.E.F LLM Studio entstanden ist

Wo steckt eigentlich die Magie?

Je mehr ich mit Sprachmodellen gearbeitet habe, desto häufiger habe ich mich gefragt: Wie funktioniert das eigentlich? Ich gebe Text ein und bekomme eine Antwort zurück. Manchmal passt sie erstaunlich gut, manchmal liegt sie daneben. Aber was passiert zwischen meiner Eingabe und dieser Antwort?

Die Modelle zu benutzen war das eine. Zu verstehen, wie Text zu Zahlen wird, was ein Modell beim Training lernt und wie daraus Schritt für Schritt eine Ausgabe entsteht, war etwas anderes. Mit jeder Antwort kamen neue Fragen dazu.

Wie erkläre ich das meiner Familie?

Es ging dabei nicht nur um meine eigene Neugier. Wie erkläre ich das meinem Sohn oder meiner Frau? Beide nutzen LLMs, aber das bedeutet noch lange nicht, dass klar ist, was so ein Modell eigentlich ist und wie es funktioniert.

Begriffe wie Token, Attention oder Training helfen wenig, wenn man sich darunter nichts vorstellen kann. Ich wollte einen Weg finden, bei dem man gemeinsam hinschauen kann: Hier ist unser Text. So wird er aufgeteilt. Das Modell berechnet Möglichkeiten für die Fortsetzung. Ein Token wird ausgewählt, angehängt, und dann geht es weiter.

Ausprobieren statt nur darüber lesen

Daraus entstand die Idee für M.E.F LLM Studio: eine Anwendung, in der man diese Schritte selbst ausprobieren kann. Eigenen Text verwenden, einen Tokenizer bauen, ein kleines Modell trainieren und anschließend untersuchen, was es erzeugt.

Kleine Modelle sind dafür interessant, weil man mit ihnen experimentieren kann. Was ändert sich mit anderen Trainingsdaten? Was macht die Temperatur? Warum wird nicht immer das wahrscheinlichste Token gewählt? Die Erklärungen sollen an etwas anknüpfen, das man gerade selbst beobachtet hat.

Die Visualisierungen gehören deshalb zum Kern der Idee. Eine schöne Darstellung allein reicht mir nicht. Sie soll dabei helfen, einen Schritt zu verstehen oder eine Frage zu stellen, die vorher vielleicht gar nicht aufgekommen wäre.

Ein wenig die Angst vor dem Unbekannten nehmen

Hinter dem Wort „Magie“ steckt für mich auch etwas Unbehagen. Wenn ein System so überzeugend antwortet und man nicht versteht, wie es dazu kommt, ist es schwer einzuschätzen. Was kann ich ihm zutrauen? Wo sollte ich genauer nachfragen oder etwas überprüfen?

Ich möchte ein wenig diese Angst nehmen, indem die Abläufe zugänglicher werden. Nicht alles wird dadurch einfach, und ein kleines Experiment erklärt nicht jedes Verhalten eines großen Modells. Aber ein eigener, nachvollziehbarer Einstieg macht einen Unterschied: Man muss die Ausgabe nicht mehr nur staunend hinnehmen.

Die Fragen gehen weiter

M.E.F LLM Studio ist aus diesen Fragen gewachsen. Es ist auch für mich ein Lernprojekt. Mein Wunsch ist, dass andere damit ihren eigenen Einstieg finden – ob aus Neugier, für den Unterricht oder um zu Hause gemeinsam herauszufinden, was hinter der scheinbaren Magie steckt.