# Wiki — M.E.F LLM Studio Source: https://www.mef-llm-studio.com/de/wiki/ Begriffe nachschlagen, Zusammenhänge erkunden und Verbesserungen vorschlagen. Wiki SHA-256 e1d77a93ee3763b7ec7e72949f32d4fef5ef73cfd981fa6c0160e9d1afa490af ## LLM Fundamentals Was ein großes Sprachmodell lernt, erzeugt und nicht garantiert. **Was bedeutet das?:** Ein Large Language Model schätzt Wahrscheinlichkeiten für sprachliche Fortsetzungen aus gelernten Parametern. Es erzeugt plausible Sequenzen, besitzt aber von sich aus weder aktuelle Quellenautorität noch einen Wahrheitsbeweis für einzelne Aussagen. **Warum ist das wichtig?:** Ohne dieses Grundbild werden Fluenz, Wissen, Schlussfolgern und Verifikation leicht miteinander verwechselt. **Wichtige Grenze:** Eine wahrscheinlich klingende Ausgabe ist weder automatisch wahr noch auf eine konkrete Quelle zurückführbar. - [Transformers](https://www.mef-llm-studio.com/de/wiki/#transformers) - [Tokenization](https://www.mef-llm-studio.com/de/wiki/#tokenization) - [LLM Inference](https://www.mef-llm-studio.com/de/wiki/#llm-inference) - [Hallucination Detection](https://www.mef-llm-studio.com/de/wiki/#hallucination-detection) ## Transformers Eine Architektur, die Sequenzen über Attention statt rekurrenter Zustandsketten verarbeitet. **Was bedeutet das?:** Transformer bestehen aus wiederholten Attention- und Feed-Forward-Blöcken. Sie bilden Beziehungen zwischen Positionen einer Eingabesequenz ab und lassen sich stark parallel trainieren. **Warum ist das wichtig?:** Sie bilden die technische Grundlage der meisten modernen Sprachmodelle und vieler multimodaler Modelle. **Wichtige Grenze:** Die Architektur sagt nichts darüber aus, ob ein Ergebnis korrekt, aktuell oder autorisiert ist. - [Attention Mechanism](https://www.mef-llm-studio.com/de/wiki/#attention) - [Multi-Head Attention](https://www.mef-llm-studio.com/de/wiki/#multi-head-attention) - [Transformer-Block](https://www.mef-llm-studio.com/de/wiki/#transformer-block) - [Residualstrom](https://www.mef-llm-studio.com/de/wiki/#residual-stream) - [Positional Encoding](https://www.mef-llm-studio.com/de/wiki/#positional-encoding) - [LLM Fundamentals](https://www.mef-llm-studio.com/de/wiki/#llm-fundamentals) ## Attention Mechanism Jede Position mischt die Positionen, die sie lesen darf, mit Gewichten, die zusammen 100 % ergeben. **Was bedeutet das?:** Für eine Query-Position bewertet Attention jeden Key, den sie lesen darf, macht aus den Scores per Softmax Gewichte und summiert die Values mit diesen Gewichten. Jeder Query-Head berechnet eigene Gewichte; in GPT-2-artigen Modellen hat jeder Head auch eigene Key- und Value-Projektionen, bei Grouped-Query-Attention (Llama, Qwen2) teilen sich mehrere Query-Heads einen Key/Value-Head. **Warum ist das wichtig?:** Damit können Modelle weit entfernte Bezüge und kontextabhängige Beziehungen modellieren. **Wichtige Grenze:** Attention-Gewichte sind keine verlässliche Erklärung und kein Beweis kausaler Nutzung. - [Transformers](https://www.mef-llm-studio.com/de/wiki/#transformers) - [Multi-Head Attention](https://www.mef-llm-studio.com/de/wiki/#multi-head-attention) - [Attention-Head](https://www.mef-llm-studio.com/de/wiki/#attention-head) - [Kausale Maske](https://www.mef-llm-studio.com/de/wiki/#causal-mask) - [Softmax](https://www.mef-llm-studio.com/de/wiki/#softmax) - [Embeddings](https://www.mef-llm-studio.com/de/wiki/#embeddings) - [Observability](https://www.mef-llm-studio.com/de/wiki/#observability) ## Multi-Head Attention Mehrere Attention-Projektionen betrachten dieselbe Sequenz parallel. **Was bedeutet das?:** Multi-Head Attention teilt die Repräsentation in mehrere gelernte Aufmerksamkeitsköpfe. Jeder Kopf kann andere Beziehungen oder Projektionen erfassen; anschließend werden die Ergebnisse zusammengeführt. **Warum ist das wichtig?:** Die parallelen Sichten erhöhen die Ausdrucksfähigkeit eines Transformer-Blocks. **Wichtige Grenze:** Ein Kopf besitzt keine fest zugesicherte semantische Rolle, solange diese Rolle nicht separat gemessen wurde. - [Attention Mechanism](https://www.mef-llm-studio.com/de/wiki/#attention) - [Attention-Head](https://www.mef-llm-studio.com/de/wiki/#attention-head) - [Transformer-Block](https://www.mef-llm-studio.com/de/wiki/#transformer-block) - [Transformers](https://www.mef-llm-studio.com/de/wiki/#transformers) - [LLM Evaluation](https://www.mef-llm-studio.com/de/wiki/#llm-evaluation) ## Tokenization Die Zerlegung von Text in diskrete Modell-Einheiten. **Was bedeutet das?:** Tokenization übersetzt Text in IDs, die ein Modell verarbeiten kann. Je nach Verfahren entsprechen Tokens Wörtern, Wortteilen, Zeichen oder Bytes. **Warum ist das wichtig?:** Sie beeinflusst Sequenzlänge, Mehrsprachigkeit, Zahlendarstellung und die Sicht des Modells auf Schreibvarianten. **Wichtige Grenze:** Token-Grenzen sind technische Grenzen und nicht automatisch linguistische oder ontologische Grenzen. - [Embeddings](https://www.mef-llm-studio.com/de/wiki/#embeddings) - [Context Windows](https://www.mef-llm-studio.com/de/wiki/#context-windows) - [LLM Fundamentals](https://www.mef-llm-studio.com/de/wiki/#llm-fundamentals) ## Embeddings Gelernte Vektoren für diskrete oder strukturierte Objekte. **Was bedeutet das?:** Embeddings bilden Tokens, Sätze, Dokumente oder andere Objekte auf dichte Zahlenvektoren ab. Ähnliche Vektoren können auf statistisch ähnliche Verwendung hinweisen. **Warum ist das wichtig?:** Sie machen diskrete Eingaben für neuronale Modelle verarbeitbar und tragen semantische Suchverfahren. **Wichtige Grenze:** Vektornähe ist keine Identität, keine Wahrheit und keine Autoritätsbeziehung. - [Token-Embedding](https://www.mef-llm-studio.com/de/wiki/#token-embedding) - [Semantic Search](https://www.mef-llm-studio.com/de/wiki/#semantic-search) - [Vector Databases](https://www.mef-llm-studio.com/de/wiki/#vector-databases) - [Attention Mechanism](https://www.mef-llm-studio.com/de/wiki/#attention) ## Positional Encoding Information darüber, wo ein Element in einer Sequenz steht. **Was bedeutet das?:** Da Attention allein keine Reihenfolge kennt, fügen Modelle Positionsinformation hinzu: GPT-2-artige Modelle addieren zu jedem Token-Embedding einen gelernten Positionsvektor, Rotary Encoding (RoPE, in Llama und Qwen2) dreht Queries und Keys innerhalb der Attention abhängig von der Position, und relative Verfahren verschieben die Attention-Scores. So kann das Modell Reihenfolge und Abstand unterscheiden. **Warum ist das wichtig?:** Die Wahl beeinflusst Längen-Generalisierung und die Lernbarkeit relationaler Ordnung. **Wichtige Grenze:** Ein Positionssignal kann unerwünschte Shortcuts erzeugen, wenn Position und Ziel im Training korrelieren. - [Transformers](https://www.mef-llm-studio.com/de/wiki/#transformers) - [Attention Mechanism](https://www.mef-llm-studio.com/de/wiki/#attention) - [Context Windows](https://www.mef-llm-studio.com/de/wiki/#context-windows) ## Prompt Engineering Systematische Gestaltung der Anweisung und des bereitgestellten Kontexts. **Was bedeutet das?:** Prompt Engineering strukturiert Aufgabe, Beispiele, Ausgabeformat, Grenzen und Kontext so, dass ein Modell verlässlicher auf eine gewünschte Rolle reagiert. **Warum ist das wichtig?:** Es ist ein schneller Hebel für Verhalten, besonders ohne Training. **Wichtige Grenze:** Ein guter Prompt ist weder ein Sicherheitsmechanismus noch eine Garantie für Fakten- oder Tooltreue. - [Few-Shot Learning](https://www.mef-llm-studio.com/de/wiki/#few-shot-learning) - [Structured Outputs](https://www.mef-llm-studio.com/de/wiki/#structured-outputs) - [Prompt Evaluation](https://www.mef-llm-studio.com/de/wiki/#prompt-evaluation) - [Guardrails](https://www.mef-llm-studio.com/de/wiki/#guardrails) ## Few-Shot Learning Aufgabensteuerung durch wenige Beispiele im Kontext. **Was bedeutet das?:** Beim Few-Shot Learning erhält das Modell einige Eingabe-Ausgabe-Beispiele innerhalb des Prompts und leitet daraus das gewünschte Muster für neue Fälle ab. **Warum ist das wichtig?:** Es kann Format und Aufgabenschema ohne Gewichtsupdate vermitteln. **Wichtige Grenze:** Beispiele verbrauchen Kontext und können unerwünschte Muster oder Fehler als Vorlage verankern. - [Prompt Engineering](https://www.mef-llm-studio.com/de/wiki/#prompt-engineering) - [Context Windows](https://www.mef-llm-studio.com/de/wiki/#context-windows) - [Fine-Tuning](https://www.mef-llm-studio.com/de/wiki/#fine-tuning) ## Chain-of-Thought Zwischenschritte, die ein Modell vor oder mit seiner Antwort erzeugt. **Was bedeutet das?:** Chain-of-Thought bezeichnet textuelle Zwischenüberlegungen, die komplexe Aufgaben in kleinere Schritte zerlegen können. Sichtbare Begründungen können hilfreich sein, sind aber selbst Modelltext. **Warum ist das wichtig?:** Die Technik kann die Bearbeitung mehrstufiger Aufgaben verbessern und Fehlerstellen sichtbar machen. **Wichtige Grenze:** Eine plausible Gedankenkette ist kein Beweis, dass genau diese Schritte intern kausal waren oder sachlich stimmen. - [Structured Outputs](https://www.mef-llm-studio.com/de/wiki/#structured-outputs) - [LLM Evaluation](https://www.mef-llm-studio.com/de/wiki/#llm-evaluation) - [Observability](https://www.mef-llm-studio.com/de/wiki/#observability) ## RAG Retrieval-Augmented Generation verbindet Suche mit Textgenerierung. **Was bedeutet das?:** RAG sucht zur Laufzeit relevante Inhalte und gibt sie einem Generator als Kontext. Dadurch müssen aktuelle oder private Fakten nicht vollständig in Modellgewichten liegen. **Warum ist das wichtig?:** Es verbessert Aktualisierbarkeit und kann Quellenbezug ermöglichen. **Wichtige Grenze:** Gefunden bedeutet nicht zugelassen; Kontext bedeutet nicht Evidenz; Zitieren bedeutet nicht, dass die Aussage aus der Quelle folgt. - [Semantic Search](https://www.mef-llm-studio.com/de/wiki/#semantic-search) - [Reranking](https://www.mef-llm-studio.com/de/wiki/#reranking) - [Chunking Strategies](https://www.mef-llm-studio.com/de/wiki/#chunking) - [Vector Databases](https://www.mef-llm-studio.com/de/wiki/#vector-databases) ## Vector Databases Speicher und Indexe für Ähnlichkeitssuche über Vektoren. **Was bedeutet das?:** Eine Vector Database speichert Embeddings zusammen mit IDs und Metadaten und findet Einträge anhand eines Distanz- oder Ähnlichkeitsmaßes. **Warum ist das wichtig?:** Sie macht semantische Suche über große Bestände praktikabel. **Wichtige Grenze:** Der Index entscheidet über Nähe, nicht über Gültigkeit, Aktualität, Rechte oder Widerspruch. - [Embeddings](https://www.mef-llm-studio.com/de/wiki/#embeddings) - [Semantic Search](https://www.mef-llm-studio.com/de/wiki/#semantic-search) - [RAG](https://www.mef-llm-studio.com/de/wiki/#rag) - [Hybrid Search](https://www.mef-llm-studio.com/de/wiki/#hybrid-search) ## Semantic Search Suche nach Bedeutungsnähe statt nur nach identischen Zeichenfolgen. **Was bedeutet das?:** Semantic Search kodiert Anfrage und Inhalte in Repräsentationen und rankt Kandidaten nach modellierter Bedeutungsnähe. **Warum ist das wichtig?:** Sie findet paraphrasierte oder begrifflich verwandte Inhalte, die eine reine Stichwortsuche verpasst. **Wichtige Grenze:** Semantische Nähe kann selbstbewusst falsche Kandidaten liefern und braucht Open-Set- und Authority-Grenzen. - [Embeddings](https://www.mef-llm-studio.com/de/wiki/#embeddings) - [Vector Databases](https://www.mef-llm-studio.com/de/wiki/#vector-databases) - [Hybrid Search](https://www.mef-llm-studio.com/de/wiki/#hybrid-search) - [Reranking](https://www.mef-llm-studio.com/de/wiki/#reranking) ## Hybrid Search Kombination aus lexikalischer und semantischer Suche. **Was bedeutet das?:** Hybrid Search verbindet exakte oder termbasierte Treffer mit Embedding-basierter Ähnlichkeit und führt beide Ergebnislisten durch Regeln oder Ranking zusammen. **Warum ist das wichtig?:** Sie deckt sowohl präzise Namen und IDs als auch sprachliche Varianten ab. **Wichtige Grenze:** Die Fusion braucht eine definierte Kalibrierung; zwei Scores aus verschiedenen Räumen sind nicht automatisch vergleichbar. - [Semantic Search](https://www.mef-llm-studio.com/de/wiki/#semantic-search) - [Reranking](https://www.mef-llm-studio.com/de/wiki/#reranking) - [Vector Databases](https://www.mef-llm-studio.com/de/wiki/#vector-databases) ## Reranking Ein zweiter, genauerer Sortierschritt für bereits gefundene Kandidaten. **Was bedeutet das?:** Ein Reranker bewertet eine kleine Kandidatenmenge mit mehr Kontext oder einem stärkeren Modell neu. Er optimiert die Reihenfolge, nicht die ursprüngliche Abdeckung. **Warum ist das wichtig?:** Er kann relevante Evidenz früher platzieren und den aktiven Payload begrenzen. **Wichtige Grenze:** Ein Reranker kann keinen fehlenden Kandidaten zurückholen und darf Ranking nicht mit Admission verwechseln. - [Semantic Search](https://www.mef-llm-studio.com/de/wiki/#semantic-search) - [Hybrid Search](https://www.mef-llm-studio.com/de/wiki/#hybrid-search) - [RAG](https://www.mef-llm-studio.com/de/wiki/#rag) - [Model Routing](https://www.mef-llm-studio.com/de/wiki/#model-routing) ## Chunking Strategies Wie Quellen in abrufbare Abschnitte zerlegt werden. **Was bedeutet das?:** Chunking teilt Dokumente nach Länge, Sätzen, Abschnitten, Struktur oder semantischen Grenzen in Retrieval-Einheiten. **Warum ist das wichtig?:** Die Zerlegung bestimmt, ob genug Kontext enthalten ist, ohne die Suche mit großen Blöcken zu verwischen. **Wichtige Grenze:** Ein Chunk darf seine Source-Spans, Version und Nachbarschaft nicht verlieren; sonst ist spätere Provenienz nur angenähert. - [RAG](https://www.mef-llm-studio.com/de/wiki/#rag) - [Context Windows](https://www.mef-llm-studio.com/de/wiki/#context-windows) - [Semantic Search](https://www.mef-llm-studio.com/de/wiki/#semantic-search) ## Context Windows Die maximale aktive Eingabesequenz eines Modellaufrufs. **Was bedeutet das?:** Das Context Window umfasst Systemanweisung, Nutzereingabe, Beispiele, abgerufene Inhalte und bisherige Ausgabe, die ein Modell in einem Aufruf berücksichtigen kann. **Warum ist das wichtig?:** Es begrenzt aktive Information, Kosten und Laufzeit und beeinflusst, welche Inhalte gemeinsam verarbeitet werden. **Wichtige Grenze:** Mehr Kontext garantiert keine bessere Nutzung; irrelevante oder widersprüchliche Inhalte können Leistung verschlechtern. - [Kontext](https://www.mef-llm-studio.com/de/wiki/#context) - [Chunking Strategies](https://www.mef-llm-studio.com/de/wiki/#chunking) - [RAG](https://www.mef-llm-studio.com/de/wiki/#rag) - [KV Cache](https://www.mef-llm-studio.com/de/wiki/#kv-cache) - [AI Cost Optimization](https://www.mef-llm-studio.com/de/wiki/#cost-optimization) ## Function Calling Modellausgabe in einem vorgegebenen Funktionsschema. **Was bedeutet das?:** Function Calling lässt ein Modell einen Funktionsnamen und strukturierte Argumente vorschlagen, statt nur Freitext zu erzeugen. **Warum ist das wichtig?:** Es schafft eine maschinenlesbare Naht zwischen Sprache und Programmcode. **Wichtige Grenze:** Schema-konforme Argumente sind nicht automatisch sinnvoll, sicher oder autorisiert. - [Tool Calling](https://www.mef-llm-studio.com/de/wiki/#tool-calling) - [Structured Outputs](https://www.mef-llm-studio.com/de/wiki/#structured-outputs) - [MCP](https://www.mef-llm-studio.com/de/wiki/#mcp) ## Tool Calling Ein Modell schlägt die Nutzung einer externen Fähigkeit vor. **Was bedeutet das?:** Tool Calling erweitert Function Calling um konkrete externe Aktionen wie Suche, Datenbankzugriff, Codeausführung oder Geschäftsoperationen. **Warum ist das wichtig?:** Damit kann ein Sprachmodell Informationen beschaffen oder reale Systeme beeinflussen. **Wichtige Grenze:** Der Modellvorschlag darf nie allein die Ausführungsberechtigung sein; Fehler, Teilresultate und Seiteneffekte brauchen eigene Verträge. - [Function Calling](https://www.mef-llm-studio.com/de/wiki/#function-calling) - [AI Agents](https://www.mef-llm-studio.com/de/wiki/#ai-agents) - [MCP](https://www.mef-llm-studio.com/de/wiki/#mcp) - [Guardrails](https://www.mef-llm-studio.com/de/wiki/#guardrails) ## AI Agents Systeme, die Ziele über mehrere Modell- und Toolschritte verfolgen. **Was bedeutet das?:** Ein AI Agent kombiniert Modellentscheidungen, Zustand, Tools und eine Steuerlogik, um eine Aufgabe über mehrere Schritte zu bearbeiten. **Warum ist das wichtig?:** Agenten können dynamische Aufgaben lösen, bei denen der nächste Schritt erst aus dem vorherigen Ergebnis entsteht. **Wichtige Grenze:** Mehr Autonomie vergrößert Fehlerketten und Seiteneffekte; ein Loop ist keine Governance. - [Agentic Workflows](https://www.mef-llm-studio.com/de/wiki/#agentic-workflows) - [Tool Calling](https://www.mef-llm-studio.com/de/wiki/#tool-calling) - [Memory Systems](https://www.mef-llm-studio.com/de/wiki/#memory-systems) - [Guardrails](https://www.mef-llm-studio.com/de/wiki/#guardrails) ## Agentic Workflows Explizite Ablaufstruktur für agentische Schritte und Entscheidungen. **Was bedeutet das?:** Agentic Workflows ordnen Modellaufrufe, Tools, Prüfungen, Wiederholungen und Übergaben zu einem kontrollierten Prozess. **Warum ist das wichtig?:** Ein Workflow macht Autonomie begrenzbar und erlaubt spezialisierte Komponenten statt eines unklaren Endlos-Loops. **Wichtige Grenze:** Ein grafischer Ablauf beweist keine korrekte Autorität oder Fehlerbehandlung; jede Kante braucht Semantik. - [AI Agents](https://www.mef-llm-studio.com/de/wiki/#ai-agents) - [Multi-Agent Systems](https://www.mef-llm-studio.com/de/wiki/#multi-agent-systems) - [Observability](https://www.mef-llm-studio.com/de/wiki/#observability) - [Production GenAI Systems](https://www.mef-llm-studio.com/de/wiki/#production-genai) ## Memory Systems Persistenter oder laufzeitnaher Zustand außerhalb des Modellkontexts. **Was bedeutet das?:** Memory Systems speichern Gespräche, Beobachtungen, Fakten, Arbeitszustand oder Zusammenfassungen über einzelne Modellaufrufe hinaus. **Warum ist das wichtig?:** Sie ermöglichen Kontinuität und reduzieren die Notwendigkeit, alles erneut in den Prompt zu legen. **Wichtige Grenze:** Gespeichert bedeutet nicht wahr; Erinnerungen brauchen Herkunft, Version, Gültigkeit und Lösch- oder Widerrufsregeln. - [RAG](https://www.mef-llm-studio.com/de/wiki/#rag) - [AI Agents](https://www.mef-llm-studio.com/de/wiki/#ai-agents) - [Vector Databases](https://www.mef-llm-studio.com/de/wiki/#vector-databases) - [Observability](https://www.mef-llm-studio.com/de/wiki/#observability) ## Multi-Agent Systems Mehrere getrennte Agentenrollen arbeiten an derselben Aufgabe. **Was bedeutet das?:** Multi-Agent Systems verteilen Planung, Recherche, Kritik oder Ausführung auf mehrere modell- oder regelbasierte Akteure mit definierten Nachrichtenwegen. **Warum ist das wichtig?:** Spezialisierung und Gegenprüfung können komplexe Arbeit strukturieren. **Wichtige Grenze:** Übereinstimmung mehrerer Modelle ist keine unabhängige Wahrheit; gemeinsame Trainingsprägung kann denselben Fehler vervielfachen. - [AI Agents](https://www.mef-llm-studio.com/de/wiki/#ai-agents) - [Agentic Workflows](https://www.mef-llm-studio.com/de/wiki/#agentic-workflows) - [LLM Evaluation](https://www.mef-llm-studio.com/de/wiki/#llm-evaluation) ## MCP Ein offenes Protokoll für Tools, Ressourcen und Prompts zwischen AI-Hosts und Servern. **Was bedeutet das?:** Das Model Context Protocol standardisiert die Kommunikation zwischen Host, Clients und spezialisierten Servern. Server können klar deklarierte Ressourcen, Tools und Prompts anbieten; Fähigkeiten werden explizit ausgehandelt. **Warum ist das wichtig?:** Es reduziert proprietäre Punkt-zu-Punkt-Integrationen und macht spezialisierte Dienste kombinierbar. **Wichtige Grenze:** MCP standardisiert den Transport und die Fähigkeitsoberfläche, nicht Wahrheit, Tool-Autorisierung oder Evidenz-Qualität. - [Tool Calling](https://www.mef-llm-studio.com/de/wiki/#tool-calling) - [Function Calling](https://www.mef-llm-studio.com/de/wiki/#function-calling) - [AI Agents](https://www.mef-llm-studio.com/de/wiki/#ai-agents) ## Structured Outputs Modellausgaben, die einem festen maschinenlesbaren Schema folgen. **Was bedeutet das?:** Structured Outputs begrenzen die Ausgabe auf Felder, Typen und erlaubte Werte, meist über JSON Schema, Grammatik oder constrained decoding. **Warum ist das wichtig?:** Sie machen Ausgaben validierbar und reduzieren Parsing-Mehrdeutigkeit. **Wichtige Grenze:** Strukturell gültig ist nicht semantisch korrekt; ein perfekt valides Objekt kann falsche Werte tragen. - [Function Calling](https://www.mef-llm-studio.com/de/wiki/#function-calling) - [Guardrails](https://www.mef-llm-studio.com/de/wiki/#guardrails) - [LLM Evaluation](https://www.mef-llm-studio.com/de/wiki/#llm-evaluation) ## Optimierer Die Regel, die Gradienten beim Training in Parameteränderungen übersetzt. **Was bedeutet das?:** Ein Optimierer nutzt Gradienten und eine Lernrate, um Modellparameter zu aktualisieren. Verfahren unterscheiden sich darin, wie sie frühere Gradienten einbeziehen, einzelne Schritte skalieren und Weight Decay anwenden. **Warum ist das wichtig?:** Das beeinflusst Trainingsstabilität, Speicherbedarf und wie schnell ein nützlicher Loss erreicht wird. **Wichtige Grenze:** Ein Optimierer legt weder das Trainingsziel fest noch garantiert er Generalisierung. Diese App verwendet derzeit AdamW und bietet keine Optimierer-Auswahl. - [SGD](https://www.mef-llm-studio.com/de/wiki/#sgd) - [RMSprop](https://www.mef-llm-studio.com/de/wiki/#rmsprop) - [Adam](https://www.mef-llm-studio.com/de/wiki/#adam) - [AdamW](https://www.mef-llm-studio.com/de/wiki/#adamw) - [Fine-Tuning](https://www.mef-llm-studio.com/de/wiki/#fine-tuning) ## SGD Stochastischer Gradientenabstieg aktualisiert Gewichte anhand von Batch-Gradienten. **Was bedeutet das?:** Einfaches SGD zieht von jedem Parameter den mit der Lernrate skalierten Gradienten ab. Momentum ist eine optionale Variante, die einen Teil früherer Updates weiterträgt. **Warum ist das wichtig?:** Die einfache Regel macht den Einfluss der Lernrate und die Arbeit eines Optimierers gut nachvollziehbar. **Wichtige Grenze:** Einfaches SGD braucht wenig dauerhaften Zustand, aber oft sorgfältige Lernratenwahl. Es ist hier ein Vergleichsbegriff, keine auswählbare App-Option. - [Optimierer](https://www.mef-llm-studio.com/de/wiki/#optimizer) - [RMSprop](https://www.mef-llm-studio.com/de/wiki/#rmsprop) - [Adam](https://www.mef-llm-studio.com/de/wiki/#adam) - [AdamW](https://www.mef-llm-studio.com/de/wiki/#adamw) ## RMSprop Ein adaptiver Schritt, skaliert durch einen laufenden Mittelwert quadrierter Gradienten. **Was bedeutet das?:** RMSprop verfolgt pro Parameter die jüngsten quadrierten Gradienten und teilt den aktuellen Gradienten durch eine daraus geschätzte Wurzelskala mit kleinem Stabilisierungsterm. **Warum ist das wichtig?:** Das zeigt, warum verschiedene Parameter unterschiedliche effektive Schrittweiten erhalten können. **Wichtige Grenze:** Adaptive Schritte garantieren keinen besseren Validierungs-Loss und verhindern kein Overfitting. RMSprop ist in dieser App nicht auswählbar. - [Optimierer](https://www.mef-llm-studio.com/de/wiki/#optimizer) - [SGD](https://www.mef-llm-studio.com/de/wiki/#sgd) - [Adam](https://www.mef-llm-studio.com/de/wiki/#adam) - [AdamW](https://www.mef-llm-studio.com/de/wiki/#adamw) ## Adam Adaptive Moment Estimation kombiniert Mittelwerte von Gradienten und deren Quadraten. **Was bedeutet das?:** Adam hält pro Parameter einen ersten Moment der Gradienten und einen zweiten Moment der quadrierten Gradienten vor und skaliert damit die Updates. **Warum ist das wichtig?:** Das erklärt den zusätzlichen Optimierer-Zustand im Speicherplan eines Trainingslaufs. **Wichtige Grenze:** Adam benötigt zusätzlichen Zustand und garantiert keine Generalisierung. Die App verwendet AdamW statt einer auswählbaren Adam-Option. - [Optimierer](https://www.mef-llm-studio.com/de/wiki/#optimizer) - [RMSprop](https://www.mef-llm-studio.com/de/wiki/#rmsprop) - [AdamW](https://www.mef-llm-studio.com/de/wiki/#adamw) ## AdamW Adam-artige Updates mit vom Gradientenschritt getrenntem Weight Decay. **Was bedeutet das?:** AdamW behält Adams ersten und zweiten Moment bei, wendet Weight Decay aber getrennt vom adaptiven Gradientenupdate an. Diese App nutzt AdamW für Vortraining und Fine-Tuning. **Warum ist das wichtig?:** Die Trennung macht die Rolle von Weight Decay klarer; die beiden Momentpuffer gehören weiterhin in den Speicherplan. **Wichtige Grenze:** Die App bietet keine Optimierer-Auswahl; auch AdamW und Weight Decay müssen validiert werden und garantieren keine besseren Ausgaben. - [Optimierer](https://www.mef-llm-studio.com/de/wiki/#optimizer) - [Adam](https://www.mef-llm-studio.com/de/wiki/#adam) - [Fine-Tuning](https://www.mef-llm-studio.com/de/wiki/#fine-tuning) - [SFT](https://www.mef-llm-studio.com/de/wiki/#sft) ## Fine-Tuning Weiteres Training eines vortrainierten Modells für eine Aufgabe oder Domäne. **Was bedeutet das?:** Beim Fine-Tuning werden Modellparameter mit einem kleineren, zielgerichteten Datensatz aktualisiert. Das kann Verhalten, Format oder Fachleistung spezialisieren. **Warum ist das wichtig?:** Es verlagert wiederkehrende Muster aus dem Prompt in die Gewichte. **Wichtige Grenze:** Fine-Tuning garantiert weder Generalisierung noch aktuelle Fakten und kann bestehende Fähigkeiten verschieben. - [SFT](https://www.mef-llm-studio.com/de/wiki/#sft) - [LoRA & QLoRA](https://www.mef-llm-studio.com/de/wiki/#lora-qlora) - [PEFT](https://www.mef-llm-studio.com/de/wiki/#peft) - [DPO](https://www.mef-llm-studio.com/de/wiki/#dpo) - [RLHF](https://www.mef-llm-studio.com/de/wiki/#rlhf) ## SFT Überwachtes Fine-Tuning auf vorgeführten Antworten des Assistenten. **Was bedeutet das?:** SFT trainiert ein vortrainiertes Modell mit Beispielunterhaltungen weiter. In dieser App liefert das gesamte Gespräch Kontext, aber nur die Antwort-Tokens des Assistenten tragen zum Trainings-Loss bei. **Warum ist das wichtig?:** Ein Basismodell lernt so, im gezeigten Format zu antworten, statt nur Rohtext fortzusetzen. **Wichtige Grenze:** SFT lernt aus seinen Beispielen; es beweist weder Faktentreue noch Präferenzanpassung oder Sicherheit. Diese App aktualisiert Modellgewichte und trainiert keine LoRA-Adapter. - [Fine-Tuning](https://www.mef-llm-studio.com/de/wiki/#fine-tuning) - [DPO](https://www.mef-llm-studio.com/de/wiki/#dpo) - [PEFT](https://www.mef-llm-studio.com/de/wiki/#peft) - [AdamW](https://www.mef-llm-studio.com/de/wiki/#adamw) ## LoRA & QLoRA Parameterarme Anpassung über niedrig-rangige Zusatzmatrizen. **Was bedeutet das?:** LoRA friert die Basismatrix ein und trainiert kleine Low-Rank-Adapter. QLoRA kombiniert dieses Prinzip mit einem quantisierten Basismodell, um Speicherbedarf weiter zu senken. **Warum ist das wichtig?:** Damit lassen sich große Modelle mit deutlich weniger trainierbaren Parametern anpassen. **Wichtige Grenze:** Weniger trainierbare Parameter bedeuten nicht automatisch weniger Datenbedarf, bessere Qualität oder einfachere Evaluation. LoRA und QLoRA bietet diese App nicht an; sie trainiert alle Gewichte ihrer eigenen GPT-Checkpoints. - [PEFT](https://www.mef-llm-studio.com/de/wiki/#peft) - [Fine-Tuning](https://www.mef-llm-studio.com/de/wiki/#fine-tuning) - [Quantization](https://www.mef-llm-studio.com/de/wiki/#quantization) ## PEFT Familie parameter-effizienter Fine-Tuning-Verfahren. **Was bedeutet das?:** Parameter-Efficient Fine-Tuning verändert nur einen kleinen Teil zusätzlicher oder ausgewählter Parameter, etwa Adapter, Prefixe oder Low-Rank-Matrizen. **Warum ist das wichtig?:** Es senkt Speicher- und Rechenkosten für viele spezialisierte Varianten. **Wichtige Grenze:** PEFT ist eine Trainingsmethode, keine Garantie für Isolation zwischen Rollen oder für sichere Adapter-Kombination. Diese App bietet kein PEFT-Verfahren an; Pretraining, SFT, DPO und ORPO aktualisieren alle Gewichte der in der App trainierten GPT-Checkpoints. - [LoRA & QLoRA](https://www.mef-llm-studio.com/de/wiki/#lora-qlora) - [Fine-Tuning](https://www.mef-llm-studio.com/de/wiki/#fine-tuning) - [Model Compression](https://www.mef-llm-studio.com/de/wiki/#model-compression) ## RLHF Optimierung eines Modells mit aus menschlichen Präferenzen gelerntem Feedback. **Was bedeutet das?:** Reinforcement Learning from Human Feedback nutzt menschliche Vergleiche, ein Präferenz- oder Reward-Modell und anschließende Optimierung, um Antworten an gewünschtes Verhalten anzupassen. **Warum ist das wichtig?:** Es kann Hilfsbereitschaft, Stil und Sicherheitsverhalten verbessern. **Wichtige Grenze:** Präferenz ist nicht Wahrheit; Reward-Hacking und unklare Reviewer-Standards bleiben möglich. RLHF mit Reward-Modell ist in dieser App nicht implementiert; ihre DPO- und ORPO-Modi lernen stattdessen aus Offline-Präferenzpaaren. - [DPO](https://www.mef-llm-studio.com/de/wiki/#dpo) - [Fine-Tuning](https://www.mef-llm-studio.com/de/wiki/#fine-tuning) - [AI Safety](https://www.mef-llm-studio.com/de/wiki/#ai-safety) - [LLM Evaluation](https://www.mef-llm-studio.com/de/wiki/#llm-evaluation) ## DPO Direkte Optimierung auf bevorzugte gegenüber abgelehnten Antworten. **Was bedeutet das?:** Direct Preference Optimization trainiert ein Modell direkt aus Antwortpaaren, ohne eine separate klassische RL-Schleife mit eigenem Reward-Modell auszuführen. **Warum ist das wichtig?:** Es vereinfacht Präferenzanpassung gegenüber vielen RLHF-Pipelines. **Wichtige Grenze:** Die Methode erbt Qualität, Bias und Ontologie der Präferenzdaten und beweist keine Faktentreue. - [SFT](https://www.mef-llm-studio.com/de/wiki/#sft) - [RLHF](https://www.mef-llm-studio.com/de/wiki/#rlhf) - [Fine-Tuning](https://www.mef-llm-studio.com/de/wiki/#fine-tuning) - [Prompt Evaluation](https://www.mef-llm-studio.com/de/wiki/#prompt-evaluation) ## Knowledge Distillation Ein kleineres Modell lernt von Ausgaben oder Repräsentationen eines größeren Lehrers. **Was bedeutet das?:** Distillation überträgt Verhalten eines Teacher-Modells auf einen kleineren Student, etwa über Soft Targets, Logits, Zwischenzustände oder erzeugte Trainingsbeispiele. **Warum ist das wichtig?:** Sie kann kompakte Spezialisten erzeugen, die lokal und günstig laufen. **Wichtige Grenze:** Der Student übernimmt auch Fehler und blinde Flecken des Teachers; Teacher-Übereinstimmung ist kein unabhängiges Gold. Distillation ist in dieser App kein Trainingsmodus. - [Model Compression](https://www.mef-llm-studio.com/de/wiki/#model-compression) - [Fine-Tuning](https://www.mef-llm-studio.com/de/wiki/#fine-tuning) - [LLM Evaluation](https://www.mef-llm-studio.com/de/wiki/#llm-evaluation) ## Quantization Gewichte oder Aktivierungen mit weniger Bits darstellen. **Was bedeutet das?:** Quantization reduziert numerische Präzision, zum Beispiel von FP32 auf FP16, INT8 oder niedrigere Formate. Sie kann nach dem Training oder während quantisierungsbewusstem Training erfolgen. **Warum ist das wichtig?:** Sie senkt Speicherbedarf und kann Inferenz beschleunigen. **Wichtige Grenze:** Rundungs- und Skalierungsfehler können seltene funktionale Ausfälle erzeugen, die ein Aggregat verdeckt. - [Model Compression](https://www.mef-llm-studio.com/de/wiki/#model-compression) - [LLM Inference](https://www.mef-llm-studio.com/de/wiki/#llm-inference) - [LoRA & QLoRA](https://www.mef-llm-studio.com/de/wiki/#lora-qlora) ## Model Compression Methoden zur Verringerung von Modellgröße oder Rechenaufwand. **Was bedeutet das?:** Model Compression umfasst Quantisierung, Pruning, Distillation, Faktorisierung und andere Verfahren, die ein Modell kleiner oder schneller machen. **Warum ist das wichtig?:** Sie ermöglicht lokale Ausführung und geringere Betriebsressourcen. **Wichtige Grenze:** Kompression ist nur dann ein Erfolg, wenn relevante Qualitäts- und Sicherheitsachsen erhalten bleiben. - [Quantization](https://www.mef-llm-studio.com/de/wiki/#quantization) - [Knowledge Distillation](https://www.mef-llm-studio.com/de/wiki/#knowledge-distillation) - [AI Cost Optimization](https://www.mef-llm-studio.com/de/wiki/#cost-optimization) ## LLM Inference Die Ausführung eines trainierten Modells für neue Eingaben. **Was bedeutet das?:** Inference umfasst Vorverarbeitung, Forward-Pässe, Decoding, Cache-Verwaltung und Ausgabeaufbereitung eines bereits trainierten Modells. **Warum ist das wichtig?:** Hier entstehen reale Latenz, Speicherverbrauch, Parallelität und Runtime-Verhalten. **Wichtige Grenze:** Ein korrekt geladener Checkpoint und deterministisches Decoding beweisen keine sachliche Richtigkeit. - [Forward Pass (Durchlauf)](https://www.mef-llm-studio.com/de/wiki/#forward-pass) - [Sampling](https://www.mef-llm-studio.com/de/wiki/#sampling) - [KV Cache](https://www.mef-llm-studio.com/de/wiki/#kv-cache) - [Speculative Decoding](https://www.mef-llm-studio.com/de/wiki/#speculative-decoding) - [LLM Serving](https://www.mef-llm-studio.com/de/wiki/#llm-serving) - [Quantization](https://www.mef-llm-studio.com/de/wiki/#quantization) ## KV Cache Zwischenspeicher für Attention-Keys und -Values bereits verarbeiteter Tokens. **Was bedeutet das?:** Beim autoregressiven Decoding speichert der KV Cache berechnete Key- und Value-Zustände, damit frühere Tokens nicht bei jedem neuen Token komplett neu verarbeitet werden. **Warum ist das wichtig?:** Er beschleunigt Generierung stark, kann aber viel Speicher belegen. **Wichtige Grenze:** Der Cache speichert Keys und Values, keine Attention-Gewichte oder Ausgaben: Jede neue Query berechnet frische Gewichte über alle gespeicherten Keys. Bei Grouped-Query-Attention hält er einen Eintrag pro Key/Value-Head, nicht pro Query-Head. Decoding mit Cache und eine vollständige Neuberechnung des Kontexts sind auf dem Papier dieselbe Rechnung, aber nicht bitgleich; in bfloat16 können die Logits spürbar abweichen. - [LLM Inference](https://www.mef-llm-studio.com/de/wiki/#llm-inference) - [Context Windows](https://www.mef-llm-studio.com/de/wiki/#context-windows) - [vLLM](https://www.mef-llm-studio.com/de/wiki/#vllm) ## Speculative Decoding Ein schneller Entwurf wird von einem Zielmodell gebündelt geprüft. **Was bedeutet das?:** Beim Speculative Decoding erzeugt ein kleineres oder billigeres Verfahren mehrere Tokenvorschläge, die das Zielmodell in weniger Schritten akzeptiert oder verwirft. **Warum ist das wichtig?:** Es kann Latenz senken, ohne die Zielverteilung absichtlich zu ändern. **Wichtige Grenze:** Die Methode beschleunigt Decoding, löst aber keine Evidenz-, Halluzinations- oder Autoritätsfrage. - [LLM Inference](https://www.mef-llm-studio.com/de/wiki/#llm-inference) - [LLM Serving](https://www.mef-llm-studio.com/de/wiki/#llm-serving) - [vLLM](https://www.mef-llm-studio.com/de/wiki/#vllm) ## LLM Serving Modelle als robuste, planbare Runtime-Dienste bereitstellen. **Was bedeutet das?:** LLM Serving umfasst Modellladung, Request-Queue, Batching, Parallelität, Timeouts, Streaming, Skalierung und Fehlerisolation. **Warum ist das wichtig?:** Es entscheidet, ob ein Modell unter realer Last reproduzierbar und betreibbar ist. **Wichtige Grenze:** Hoher Durchsatz ist kein Qualitäts- oder Governance-Nachweis; Serving darf fachliche Gates nicht umgehen. - [vLLM](https://www.mef-llm-studio.com/de/wiki/#vllm) - [LLM Inference](https://www.mef-llm-studio.com/de/wiki/#llm-inference) - [Observability](https://www.mef-llm-studio.com/de/wiki/#observability) - [Production GenAI Systems](https://www.mef-llm-studio.com/de/wiki/#production-genai) ## vLLM Ein spezialisierter Open-Source-Serving-Stack für hohe LLM-Auslastung. **Was bedeutet das?:** vLLM ist eine Inferenz- und Serving-Engine mit Speicherverwaltung für den KV Cache, kontinuierlichem Batching und weiteren optimierten Ausführungspfaden. **Warum ist das wichtig?:** Es kann hohen Durchsatz für kompatible Modelle und Hardware bereitstellen. **Wichtige Grenze:** vLLM ist Infrastruktur: Es definiert weder Evidenz-Lineage noch Modellrolle, Tool-Autorität oder Claim-Validierung. - [LLM Serving](https://www.mef-llm-studio.com/de/wiki/#llm-serving) - [KV Cache](https://www.mef-llm-studio.com/de/wiki/#kv-cache) - [Speculative Decoding](https://www.mef-llm-studio.com/de/wiki/#speculative-decoding) ## Model Routing Eine Anfrage wird einem passenden Modell oder Pfad zugeordnet. **Was bedeutet das?:** Model Routing wählt anhand von Aufgabe, Domäne, Risiko, Kosten oder Verfügbarkeit zwischen mehreren Modellen und Verarbeitungspfaden. **Warum ist das wichtig?:** Es erlaubt Spezialisierung und verhindert, dass jede Anfrage den teuersten Monolithen nutzt. **Wichtige Grenze:** Ein falscher Router kann intern plausible Ergebnisse im falschen Scope erzeugen; unknown muss ein eigener Ausgang sein. - [AI Agents](https://www.mef-llm-studio.com/de/wiki/#ai-agents) - [Reranking](https://www.mef-llm-studio.com/de/wiki/#reranking) - [Production GenAI Systems](https://www.mef-llm-studio.com/de/wiki/#production-genai) ## Guardrails Technische Grenzen für Eingaben, Ausgaben und Aktionen. **Was bedeutet das?:** Guardrails prüfen oder begrenzen Formate, Inhalte, Werte, Berechtigungen und Aktionen vor, während oder nach einem Modellaufruf. **Warum ist das wichtig?:** Sie reduzieren klar benannte Fehlerklassen und können fail-closed Verhalten erzwingen. **Wichtige Grenze:** Ein nachgeschalteter Filter kann fehlende Evidenz nicht nachträglich erfinden und darf nicht zum versteckten Entscheider werden. - [AI Safety](https://www.mef-llm-studio.com/de/wiki/#ai-safety) - [Structured Outputs](https://www.mef-llm-studio.com/de/wiki/#structured-outputs) - [Hallucination Detection](https://www.mef-llm-studio.com/de/wiki/#hallucination-detection) - [Tool Calling](https://www.mef-llm-studio.com/de/wiki/#tool-calling) ## AI Safety Risiken von AI-Systemen erkennen, begrenzen und nachweisen. **Was bedeutet das?:** AI Safety umfasst technische und organisatorische Methoden gegen Fehlverhalten, Missbrauch, Kontrollverlust, unerwünschte Nebenwirkungen und nicht tragfähige Entscheidungen. **Warum ist das wichtig?:** Leistungsfähigkeit ohne begrenzte Folgen ist in realen Systemen kein ausreichendes Ziel. **Wichtige Grenze:** Safety ist keine einzelne Metrik und kein Prompt; sie hängt von Systemkontext, Rechten und Fehlerkosten ab. - [Guardrails](https://www.mef-llm-studio.com/de/wiki/#guardrails) - [Observability](https://www.mef-llm-studio.com/de/wiki/#observability) - [LLM Evaluation](https://www.mef-llm-studio.com/de/wiki/#llm-evaluation) - [Production GenAI Systems](https://www.mef-llm-studio.com/de/wiki/#production-genai) ## Hallucination Detection Prüfen, ob eine generierte Aussage unbelegt oder widersprüchlich ist. **Was bedeutet das?:** Hallucination Detection vergleicht Ausgaben mit Quellen, Regeln, anderen Modellen oder Konsistenzsignalen, um unbelegte Aussagen zu markieren. **Warum ist das wichtig?:** Sie kann Fehler vor Auslieferung sichtbar machen. **Wichtige Grenze:** Ein Detektor ist selbst fehlerbehaftet; nachträgliche Erkennung ersetzt keine Architektur, die Claims an Evidenz bindet. - [RAG](https://www.mef-llm-studio.com/de/wiki/#rag) - [Guardrails](https://www.mef-llm-studio.com/de/wiki/#guardrails) - [LLM Evaluation](https://www.mef-llm-studio.com/de/wiki/#llm-evaluation) - [Structured Outputs](https://www.mef-llm-studio.com/de/wiki/#structured-outputs) ## LLM Evaluation Systematische Messung von Modellverhalten auf definierten Flächen. **Was bedeutet das?:** LLM Evaluation kombiniert Datensätze, Metriken, Baselines, menschliche Urteile, Gegenfakten und Robustheitstests für klar abgegrenzte Fragen. **Warum ist das wichtig?:** Nur eine gebundene Evaluation trennt Fortschritt von Eindruck, Promptglück oder Testanpassung. **Wichtige Grenze:** Eine Aggregatmetrik kann Funktionsausfälle, Seed-Tails, Coverage und Abstention verdecken. - [Prompt Evaluation](https://www.mef-llm-studio.com/de/wiki/#prompt-evaluation) - [Observability](https://www.mef-llm-studio.com/de/wiki/#observability) - [AI Safety](https://www.mef-llm-studio.com/de/wiki/#ai-safety) ## Prompt Evaluation Vergleich von Promptvarianten auf einer festen Aufgabe und Stichprobe. **Was bedeutet das?:** Prompt Evaluation misst, wie sich Anweisungen, Beispiele und Formatvorgaben auf definierte Ausgaben auswirken. **Warum ist das wichtig?:** Sie verhindert, dass einzelne attraktive Beispiele als allgemeine Verbesserung gelten. **Wichtige Grenze:** Promptqualität ist nur eine Komponente; Provider-, Modell-, Daten- und Decoderwechsel müssen getrennt werden. - [Prompt Engineering](https://www.mef-llm-studio.com/de/wiki/#prompt-engineering) - [LLM Evaluation](https://www.mef-llm-studio.com/de/wiki/#llm-evaluation) - [Few-Shot Learning](https://www.mef-llm-studio.com/de/wiki/#few-shot-learning) ## Observability Aus Laufzeitdaten verstehen, was ein System getan hat und wo es scheiterte. **Was bedeutet das?:** Observability verbindet strukturierte Logs, Traces, Metriken und Artefaktversionen über Komponenten und Requests hinweg. **Warum ist das wichtig?:** Sie macht Fehler, Kosten, Latenz und Drift untersuchbar, ohne den Lauf nachträglich zu erraten. **Wichtige Grenze:** Ein Log zeigt ein Ereignis, aber nicht automatisch seine fachliche Rechtfertigung oder kausale Bedeutung. - [Production GenAI Systems](https://www.mef-llm-studio.com/de/wiki/#production-genai) - [LLM Evaluation](https://www.mef-llm-studio.com/de/wiki/#llm-evaluation) - [AI Safety](https://www.mef-llm-studio.com/de/wiki/#ai-safety) ## AI Cost Optimization Qualitätsgebundene Senkung von Rechen-, Speicher- und Betriebskosten. **Was bedeutet das?:** Kostenoptimierung nutzt Routing, kleinere Modelle, Batching, Caching, Quantisierung, begrenzte Payloads und bessere Auslastung. **Warum ist das wichtig?:** Sie entscheidet, ob ein System wirtschaftlich skalierbar ist. **Wichtige Grenze:** Eine kleinere oder billigere Ausgabe ist kein Erfolg, wenn Evidenz-Coverage, Tail-Sicherheit oder Taskqualität sinkt. - [Model Routing](https://www.mef-llm-studio.com/de/wiki/#model-routing) - [Quantization](https://www.mef-llm-studio.com/de/wiki/#quantization) - [Model Compression](https://www.mef-llm-studio.com/de/wiki/#model-compression) - [LLM Serving](https://www.mef-llm-studio.com/de/wiki/#llm-serving) ## Multimodal AI Gemeinsame Verarbeitung mehrerer Modalitäten wie Text, Bild und Audio. **Was bedeutet das?:** Multimodale Systeme verbinden Repräsentationen und Aufgaben über Text, Bild, Audio, Video oder Sensordaten hinweg. **Warum ist das wichtig?:** Viele reale Entscheidungen beruhen nicht auf Text allein. **Wichtige Grenze:** Jede Modalität hat eigene Messfehler, Zeitachsen und Provenienz; gemeinsames Encoding hebt diese Grenzen nicht auf. - [Vision-Language Models](https://www.mef-llm-studio.com/de/wiki/#vision-language-models) - [Production GenAI Systems](https://www.mef-llm-studio.com/de/wiki/#production-genai) - [Embeddings](https://www.mef-llm-studio.com/de/wiki/#embeddings) ## Vision-Language Models Modelle für gemeinsame Bild- und Sprachaufgaben. **Was bedeutet das?:** Vision-Language Models kodieren visuelle Eingaben und Sprache in einem gemeinsamen oder gekoppelten Modellraum, etwa für Beschreibung, visuelle Fragen oder Dokumentanalyse. **Warum ist das wichtig?:** Sie erschließen Screenshots, Diagramme, Scans und reale Szenen für sprachliche Workflows. **Wichtige Grenze:** Eine Bildbeschreibung ist ein Wahrnehmungsvorschlag; sie ist nicht automatisch ein beweisbarer Source-Record. - [Multimodal AI](https://www.mef-llm-studio.com/de/wiki/#multimodal-ai) - [Structured Outputs](https://www.mef-llm-studio.com/de/wiki/#structured-outputs) - [Hallucination Detection](https://www.mef-llm-studio.com/de/wiki/#hallucination-detection) - [Bild-Encoder](https://www.mef-llm-studio.com/de/wiki/#visual-encoder) - [Encoder-freies multimodales Modell](https://www.mef-llm-studio.com/de/wiki/#encoder-free-multimodal) ## AI Coding Agents Agenten, die Code lesen, ändern, testen und Entwicklungswerkzeuge bedienen. **Was bedeutet das?:** Coding Agents verbinden Sprachmodelle mit Repository-Suche, Editoren, Shell, Build, Tests und Versionskontrolle. **Warum ist das wichtig?:** Sie können mehrstufige Softwareaufgaben über reale Artefakte bearbeiten. **Wichtige Grenze:** Codegenerierung ist nicht Codekorrektheit; Rechte, Scope, Tests, Review und reversible Änderungen bleiben notwendig. - [AI Agents](https://www.mef-llm-studio.com/de/wiki/#ai-agents) - [Tool Calling](https://www.mef-llm-studio.com/de/wiki/#tool-calling) - [MCP](https://www.mef-llm-studio.com/de/wiki/#mcp) - [Production GenAI Systems](https://www.mef-llm-studio.com/de/wiki/#production-genai) ## Production GenAI Systems Der gesamte betreibbare Dienst rund um Modelle, Daten, Tools und Governance. **Was bedeutet das?:** Ein Production-GenAI-System umfasst nicht nur ein Modell, sondern Daten- und Modellversionen, APIs, Identitäten, Queues, Monitoring, Tests, Rollback, Kosten, Sicherheitsgrenzen und menschliche Prozesse. **Warum ist das wichtig?:** Die meisten realen Fehler entstehen an Schnittstellen und Betriebszuständen, nicht nur im Forward-Pass. **Wichtige Grenze:** Eine Demo mit guten Antworten ist noch kein produktionsfähiges System. - [Observability](https://www.mef-llm-studio.com/de/wiki/#observability) - [LLM Serving](https://www.mef-llm-studio.com/de/wiki/#llm-serving) - [AI Safety](https://www.mef-llm-studio.com/de/wiki/#ai-safety) - [Agentic Workflows](https://www.mef-llm-studio.com/de/wiki/#agentic-workflows) ## JSON Ein Textformat für strukturierte Werte wie Objekte und Arrays. **Was bedeutet das?:** JSON beschreibt Objekte, Arrays, Zeichenketten, Zahlen, Wahrheitswerte und null mit einer kleinen, sprachunabhängigen Syntax. **Warum ist das wichtig?:** Modellbeispiele, Konfigurationen und Tool-Antworten nutzen JSON, weil Software seine Struktur auslesen kann. **Wichtige Grenze:** Gültiges JSON beweist nicht, dass ein Datensatz die für eine Trainingsaufgabe nötigen Felder oder Inhalte hat. - [JSONL](https://www.mef-llm-studio.com/de/wiki/#jsonl) - [Structured Outputs](https://www.mef-llm-studio.com/de/wiki/#structured-outputs) - [Datensatz](https://www.mef-llm-studio.com/de/wiki/#dataset) ## JSONL Ein vollständiger JSON-Wert pro Zeile, oft ein Beispiel pro Zeile. **Was bedeutet das?:** Eine JSON-Lines-Datei ist UTF-8-Text, in dem jede nichtleere Zeile für sich gültiges JSON ist. Die Endung .jsonl ist üblich. **Warum ist das wichtig?:** Beispiele lassen sich einzeln lesen und prüfen, ohne ein großes JSON-Array vollständig zu laden. **Wichtige Grenze:** Eine syntaktisch gültige Zeile kann trotzdem das falsche Format für ein Trainingsbeispiel haben; Schema und Inhalt müssen geprüft werden. - [JSON](https://www.mef-llm-studio.com/de/wiki/#json) - [Datensatz](https://www.mef-llm-studio.com/de/wiki/#dataset) - [SFT](https://www.mef-llm-studio.com/de/wiki/#sft) - [DPO](https://www.mef-llm-studio.com/de/wiki/#dpo) ## Checkpoint Ein gespeicherter Modellzustand von einem bestimmten Punkt eines Laufs. **Was bedeutet das?:** Ein Checkpoint hält Modellparameter und identifizierende Metadaten eines Trainings-Steps fest. In dieser App enthält ein fortsetzbarer Checkpoint zusätzlich die Optimierer-Momente, den Step, die Datenposition und den Zufallszustand (die Lernrate wird aus dem Step neu berechnet); reine Gewichts-Checkpoints vom Typ 'best' sind nutzbar, aber nicht fortsetzbar. **Warum ist das wichtig?:** Frühere Modellstände lassen sich prüfen und vergleichen, statt nur den letzten Step zu betrachten. **Wichtige Grenze:** Ein Checkpoint belegt keine Modellqualität und ist nicht zwingend ein eigenständig nutzbares Inferenzpaket. - [Training](https://www.mef-llm-studio.com/de/wiki/#training) - [Datensatz](https://www.mef-llm-studio.com/de/wiki/#dataset) - [Validierungs-Loss](https://www.mef-llm-studio.com/de/wiki/#validation-loss) - [LLM Inference](https://www.mef-llm-studio.com/de/wiki/#llm-inference) ## Datensatz Eine Sammlung von Beispielen für Training oder Auswertung. **Was bedeutet das?:** Ein Datensatz wählt und ordnet Beispiele und ihre erwarteten Ziele; häufig trennt er Trainings- und Validierungsanteile. **Warum ist das wichtig?:** Herkunft, Abdeckung und Aufteilung bestimmen mit, was das Modell lernen kann und was ein gemessener Loss aussagt. **Wichtige Grenze:** Auch ein großer oder sauber formatierter Datensatz ist nicht automatisch repräsentativ oder frei von Überschneidungen zwischen den Anteilen. - [JSONL](https://www.mef-llm-studio.com/de/wiki/#jsonl) - [Tokenization](https://www.mef-llm-studio.com/de/wiki/#tokenization) - [Training](https://www.mef-llm-studio.com/de/wiki/#training) - [Validierungs-Loss](https://www.mef-llm-studio.com/de/wiki/#validation-loss) ## GPT-2 Ein OpenAI-Sprachmodell mit einem vielfach verwendeten Byte-Level-BPE-Tokenizer. **Was bedeutet das?:** GPT-2 ist ein 2019 vorgestelltes Transformer-Sprachmodell. Sein veröffentlichter Tokenizer bildet UTF-8-Bytes auf Symbole ab und verwendet gelernte Byte-Pair-Merges. **Warum ist das wichtig?:** Sein veröffentlichtes Vokabular bietet in dieser App einen festen Vergleichspunkt zu selbst trainierten Tokenizern. **Wichtige Grenze:** Die Wahl des GPT-2-Tokenizers macht ein anderes Modell nicht zu GPT-2 und überträgt keine gelernten GPT-2-Gewichte. - [Byte-Level](https://www.mef-llm-studio.com/de/wiki/#byte-level) - [Tokenization](https://www.mef-llm-studio.com/de/wiki/#tokenization) - [Transformers](https://www.mef-llm-studio.com/de/wiki/#transformers) ## Training Modellparameter wiederholt anhand von Beispielen und einem Loss-Signal anpassen. **Was bedeutet das?:** In jedem Trainings-Step sagt das Modell etwas voraus, ein Loss misst den Fehler, Gradienten werden berechnet und ein Optimierer aktualisiert Parameter. **Warum ist das wichtig?:** Steps und Loss zu beobachten verbindet das Modellverhalten mit den Daten und dem Lernziel. **Wichtige Grenze:** Sinkender Trainings-Loss garantiert keine besseren Ergebnisse auf unbekannten Beispielen oder nützliche Antworten. - [Datensatz](https://www.mef-llm-studio.com/de/wiki/#dataset) - [Loss](https://www.mef-llm-studio.com/de/wiki/#loss) - [Validierungs-Loss](https://www.mef-llm-studio.com/de/wiki/#validation-loss) - [Optimierer](https://www.mef-llm-studio.com/de/wiki/#optimizer) - [Checkpoint](https://www.mef-llm-studio.com/de/wiki/#checkpoint) ## Byte-Level Eine Tokenizer-Darstellung, die von Bytes statt einer festen Zeichenliste ausgeht. **Was bedeutet das?:** Byte-Level-Tokenisierung beginnt mit den Bytes des codierten Textes; Byte-Level-BPE kann häufige Byte-Folgen zu größeren Tokens zusammenführen. **Warum ist das wichtig?:** Mit Bytes als Basis lässt sich Text außerhalb eines kleinen Zeichenvokabulars ohne Unbekannt-Zeichen-Token darstellen. **Wichtige Grenze:** Byte-Level-BPE bedeutet nicht, dass jeder fertige Token genau einem Byte oder sichtbaren Zeichen entspricht. - [GPT-2](https://www.mef-llm-studio.com/de/wiki/#gpt-2) - [Tokenization](https://www.mef-llm-studio.com/de/wiki/#tokenization) ## Loss Eine Zahl für den Fehler unter einem gewählten Lernziel. **Was bedeutet das?:** Eine Loss-Funktion vergleicht Vorhersagen mit Zielwerten. Beim Training leiten ihre Gradienten Parameteränderungen an; für Next-Token-Modelle wird häufig Cross-Entropy-Loss verwendet. **Warum ist das wichtig?:** Der Loss-Verlauf zeigt, ob das Modell die gestellte Aufgabe zunehmend besser erfüllt. **Wichtige Grenze:** Niedrigerer Trainings-Loss misst nicht unmittelbar Wahrheit, Nützlichkeit oder Leistung auf neuen Daten. - [Training](https://www.mef-llm-studio.com/de/wiki/#training) - [Validierungs-Loss](https://www.mef-llm-studio.com/de/wiki/#validation-loss) - [Optimierer](https://www.mef-llm-studio.com/de/wiki/#optimizer) ## Validierungs-Loss Loss auf zurückgehaltenen Beispielen, ohne die Modellgewichte zu ändern. **Was bedeutet das?:** Validierungs-Loss verwendet das Lernziel auf einem separaten Validierungsanteil und lässt die Parameter unverändert. Er hilft beim Vergleich von Checkpoints und zeigt Abstände zum Trainings-Loss. **Warum ist das wichtig?:** Er liefert eine begrenzte Prüfung der Verallgemeinerung über die zum Lernen genutzten Beispiele hinaus. **Wichtige Grenze:** Wiederholte Entscheidungen anhand desselben Validierungsanteils können auch diesen Anteil überanpassen; ein niedriger Wert garantiert keine guten Antworten. Werte sind nur zwischen Läufen vergleichbar, die denselben Tokenizer und denselben Validierungsanteil nutzen. - [Loss](https://www.mef-llm-studio.com/de/wiki/#loss) - [Training](https://www.mef-llm-studio.com/de/wiki/#training) - [Datensatz](https://www.mef-llm-studio.com/de/wiki/#dataset) - [Checkpoint](https://www.mef-llm-studio.com/de/wiki/#checkpoint) ## Forward Pass (Durchlauf) Ein Rechendurchlauf des Modells von den Eingabe-Tokens bis zu den Scores für das nächste Token. **Was bedeutet das?:** Im Forward Pass laufen die Token-IDs des Kontexts durch das Embedding und danach der Reihe nach durch alle Transformer-Blöcke. Beim Generieren liest der Ausgabekopf die letzte Position und bewertet jedes Token im Vokabular; jedes neue Token braucht einen weiteren Durchlauf. Mit KV Cache verarbeiten spätere Durchläufe nur das neueste Token und lesen frühere Keys und Values aus dem Cache. **Warum ist das wichtig?:** Er ist die Arbeitseinheit hinter jedem vorhergesagten Token. Der Brain Explorer zeigt einen Durchlauf als Token-Spuren durch die Blöcke. **Wichtige Grenze:** Ein Durchlauf berechnet Scores, wählt aber kein Token aus; das übernimmt danach das Sampling. Bei der Inferenz ändern sich keine Gewichte. - [LLM Inference](https://www.mef-llm-studio.com/de/wiki/#llm-inference) - [Transformer-Block](https://www.mef-llm-studio.com/de/wiki/#transformer-block) - [Ausgabekopf (Output Head)](https://www.mef-llm-studio.com/de/wiki/#output-head) - [Sampling](https://www.mef-llm-studio.com/de/wiki/#sampling) ## Transformer-Block Eine wiederholte Schicht eines Transformers: Attention, dann ein MLP, beide zum Residualstrom addiert. **Was bedeutet das?:** Ein Block normalisiert seine Eingabe, lässt seine Attention-Heads aus anderen Positionen lesen und addiert ihr Ergebnis zum Residualstrom. Danach normalisiert er erneut, wendet an jeder Position das MLP an und addiert auch dieses Ergebnis. Ein Modell stapelt viele Blöcke mit gleichem Aufbau, aber eigenen Gewichten, und führt sie nacheinander aus. **Warum ist das wichtig?:** Die Blöcke geben dem Modell seine Tiefe: Jeder kann den Zustand verfeinern, den alle späteren Blöcke lesen. **Wichtige Grenze:** Ein Block ist kein Head: Die Heads der Multi-Head Attention arbeiten innerhalb eines Blocks nebeneinander, Blöcke dagegen nacheinander. Die Anzahl der Blöcke allein sagt nichts über die Qualität aus. - [Transformers](https://www.mef-llm-studio.com/de/wiki/#transformers) - [Attention-Head](https://www.mef-llm-studio.com/de/wiki/#attention-head) - [Multi-Head Attention](https://www.mef-llm-studio.com/de/wiki/#multi-head-attention) - [MLP (Feed-Forward)](https://www.mef-llm-studio.com/de/wiki/#mlp) - [Residualstrom](https://www.mef-llm-studio.com/de/wiki/#residual-stream) - [LayerNorm](https://www.mef-llm-studio.com/de/wiki/#layer-norm) ## Attention-Head Eine von mehreren Attention-Berechnungen, die innerhalb eines Transformer-Blocks nebeneinander laufen. **Was bedeutet das?:** Jeder Head hat eine eigene Query-Projektion auf einen Ausschnitt der Vektorbreite (head_dim Dimensionen). In klassischer Multi-Head-Attention (GPT-2, eigene Checkpoints) hat jeder Head auch eigene Key- und Value-Projektionen. Bei Grouped-Query-Attention (Llama, Qwen2) gibt es weniger Key/Value-Heads als Query-Heads: Mehrere Query-Heads teilen sich einen Key und einen Value. Jeder Query-Head berechnet trotzdem eigene Attention-Gewichte, sodass Heads dieselben Positionen unterschiedlich gewichten können; ihre Ausgaben werden zusammengefügt und in den Residualstrom zurückprojiziert. **Warum ist das wichtig?:** Heads lassen einen Block mehreren Beziehungen gleichzeitig folgen. Der Brain Explorer zeigt die Gewichte eines aufgezeichneten Heads; bei einer externen Aufzeichnung vergleicht der Head Finder alle Heads einer aufgezeichneten Runde. **Wichtige Grenze:** Heads sind keine Blöcke: Alle Heads eines Blocks arbeiten parallel, Blöcke nacheinander. Die Gewichte eines Heads zeigen nur einen Teil dessen, was die gesamte Attention-Schicht addiert. - [Multi-Head Attention](https://www.mef-llm-studio.com/de/wiki/#multi-head-attention) - [Attention Mechanism](https://www.mef-llm-studio.com/de/wiki/#attention) - [Transformer-Block](https://www.mef-llm-studio.com/de/wiki/#transformer-block) - [Kausale Maske](https://www.mef-llm-studio.com/de/wiki/#causal-mask) ## Kausale Maske Die Regel, dass eine Position nur auf sich selbst und auf frühere Positionen achten darf. **Was bedeutet das?:** Bevor Softmax angewendet wird, werden die Attention-Scores späterer Positionen auf minus unendlich gesetzt, sodass ihre Gewichte genau null werden. In einer Attention-Matrix bleibt dadurch der Bereich oberhalb der Diagonale leer. **Warum ist das wichtig?:** So kann ein Modell die Vorhersage des nächsten Tokens an allen Positionen gleichzeitig lernen, ohne die Tokens zu sehen, die es vorhersagen soll. **Wichtige Grenze:** Eine maskierte Zelle ist kein gelerntes Gewicht von null; die Position ist überhaupt nicht erreichbar. Die Maske sagt nichts darüber, welche früheren Positionen wichtig sind. - [Attention Mechanism](https://www.mef-llm-studio.com/de/wiki/#attention) - [Attention-Head](https://www.mef-llm-studio.com/de/wiki/#attention-head) - [Softmax](https://www.mef-llm-studio.com/de/wiki/#softmax) - [Positional Encoding](https://www.mef-llm-studio.com/de/wiki/#positional-encoding) ## MLP (Feed-Forward) Der Teil eines Transformer-Blocks, der jede Position für sich verarbeitet. **Was bedeutet das?:** Das MLP verbreitert den Vektor einer Position, wendet eine nichtlineare Funktion an und projiziert ihn auf die ursprüngliche Breite zurück; das Ergebnis wird zum Residualstrom addiert. In den GPT-2-artigen Modellen, die diese App trainiert, verbreitert es um den Faktor vier und nutzt GELU. Llama und Qwen2 nutzen ein gated MLP (SwiGLU): Zwei parallele Up-Projektionen, von denen eine durch SiLU läuft, werden elementweise multipliziert und dann herunterprojiziert; die verbreiterte Größe ist intermediate_size. **Warum ist das wichtig?:** Attention bewegt Information zwischen Positionen; das MLP verarbeitet sie innerhalb jeder Position und enthält einen großen Teil der Parameter. **Wichtige Grenze:** Das MLP liest nicht aus anderen Positionen. Innerhalb eines Blocks nutzen alle Positionen dieselben MLP-Gewichte. - [Transformer-Block](https://www.mef-llm-studio.com/de/wiki/#transformer-block) - [Residualstrom](https://www.mef-llm-studio.com/de/wiki/#residual-stream) - [Attention Mechanism](https://www.mef-llm-studio.com/de/wiki/#attention) - [Transformers](https://www.mef-llm-studio.com/de/wiki/#transformers) ## Residualstrom Der laufende Vektor jeder Position, aus dem jeder Block liest und zu dem er addiert. **Was bedeutet das?:** In GPT-2-artigen Modellen beginnt jede Position mit ihrem Token-Embedding plus Positions-Embedding. Attention und MLP berechnen Beiträge, die zu diesem Vektor addiert werden, statt ihn zu ersetzen (Residualverbindungen). So trägt der Strom Information durch alle Blöcke bis zur finalen Normalisierung (LayerNorm, bei Llama/Qwen2 RMSNorm). **Warum ist das wichtig?:** Die Additionen machen tiefe Modelle trainierbar. Deshalb zeichnet der Brain Explorer eine graue Linie mit Plus-Knoten durch alle Blöcke. **Wichtige Grenze:** Der Strom ist ein Vektor mit vielen Dimensionen; die wenigen Komponenten einer Visualisierung sind nur ein Ausschnitt, und eine einzelne Zahl hat selten eine feste Bedeutung. - [Transformer-Block](https://www.mef-llm-studio.com/de/wiki/#transformer-block) - [MLP (Feed-Forward)](https://www.mef-llm-studio.com/de/wiki/#mlp) - [Attention Mechanism](https://www.mef-llm-studio.com/de/wiki/#attention) - [LayerNorm](https://www.mef-llm-studio.com/de/wiki/#layer-norm) - [Embeddings](https://www.mef-llm-studio.com/de/wiki/#embeddings) ## LayerNorm Bringt den Vektor einer Position vor der nächsten Rechnung auf einheitlichen Mittelwert und Streuung. **Was bedeutet das?:** Die Layer-Normalisierung zieht den Mittelwert der Komponenten eines Vektors ab, teilt durch ihre Standardabweichung und wendet danach eine gelernte Skalierung und Verschiebung an. Pre-Norm-Blöcke nutzen sie vor Attention und vor dem MLP; eine finale LayerNorm bereitet den letzten Zustand für den Ausgabekopf vor. Llama und Qwen2 nutzen an denselben Stellen RMSNorm, das nur durch den quadratischen Mittelwert teilt und eine gelernte Skalierung anwendet, ohne Mittelwertabzug und ohne Verschiebung. **Warum ist das wichtig?:** Stabile Wertebereiche machen das Training verlässlich, auch wenn der Residualstrom von Block zu Block wächst. **Wichtige Grenze:** LayerNorm arbeitet innerhalb des Vektors einer einzelnen Position und mischt keine Positionen. Wegen der gelernten Skalierung und Verschiebung hat die Ausgabe nicht immer genau Mittelwert 0 und Varianz 1. - [Transformer-Block](https://www.mef-llm-studio.com/de/wiki/#transformer-block) - [Residualstrom](https://www.mef-llm-studio.com/de/wiki/#residual-stream) - [Ausgabekopf (Output Head)](https://www.mef-llm-studio.com/de/wiki/#output-head) ## Ausgabekopf (Output Head) Die letzte Projektion, die aus dem letzten Zustand einen Score pro Token des Vokabulars macht. **Was bedeutet das?:** Nach der finalen Normalisierung (LayerNorm, bei Llama/Qwen2 RMSNorm) multipliziert der Ausgabekopf den Zustand einer Position mit einer Matrix, die eine Zeile pro Vokabular-Token hat; beim Generieren wird nur die letzte Position gelesen. Das Ergebnis sind die Logits. Viele GPT-artige Modelle koppeln diese Matrix an das Token-Embedding; diese App bietet das als Modelloption an. **Warum ist das wichtig?:** Hier wird aus dem internen Vektor des Modells eine Vorhersage über konkrete Tokens. **Wichtige Grenze:** Trotz des Namens ist der Ausgabekopf kein Attention-Head. Er bewertet Tokens, wählt aber keines aus; das übernimmt das Sampling. - [Logits](https://www.mef-llm-studio.com/de/wiki/#logits) - [Softmax](https://www.mef-llm-studio.com/de/wiki/#softmax) - [LayerNorm](https://www.mef-llm-studio.com/de/wiki/#layer-norm) - [Embeddings](https://www.mef-llm-studio.com/de/wiki/#embeddings) - [Attention-Head](https://www.mef-llm-studio.com/de/wiki/#attention-head) ## Logits Rohe, nicht normierte Scores für jedes mögliche nächste Token. **Was bedeutet das?:** Der Ausgabekopf erzeugt eine reelle Zahl pro Vokabular-Token. Höher heißt wahrscheinlicher, aber die Werte können negativ sein und ergeben keine feste Summe; Softmax macht daraus Wahrscheinlichkeiten. **Warum ist das wichtig?:** Temperatur und Filter wirken auf die Logits; sie sind der Ausgangspunkt jeder Sampling-Entscheidung. **Wichtige Grenze:** Ein Logit ist keine Wahrscheinlichkeit, und Unterschiede zwischen Logits zählen mehr als ihre absoluten Werte. - [Ausgabekopf (Output Head)](https://www.mef-llm-studio.com/de/wiki/#output-head) - [Softmax](https://www.mef-llm-studio.com/de/wiki/#softmax) - [Temperatur](https://www.mef-llm-studio.com/de/wiki/#temperature) - [Sampling](https://www.mef-llm-studio.com/de/wiki/#sampling) ## Softmax Wandelt eine Liste von Scores in Wahrscheinlichkeiten um, die positiv sind und zusammen eins ergeben. **Was bedeutet das?:** Softmax wendet auf jeden Score die Exponentialfunktion an und teilt durch die Summe aller Exponentialwerte. Größere Scores erhalten größere Anteile; addiert man zu allen Scores dieselbe Konstante, ändert sich nichts. Transformer nutzen Softmax für Attention-Gewichte und für die Wahrscheinlichkeiten des nächsten Tokens. **Warum ist das wichtig?:** Softmax macht Scores als Anteile vergleichbar; genau das zeigen Wahrscheinlichkeitsbalken und Attention-Bögen. **Wichtige Grenze:** Softmax-Wahrscheinlichkeiten beschreiben die Verteilung des Modells, nicht die Wahrscheinlichkeit, dass eine Aussage stimmt. - [Logits](https://www.mef-llm-studio.com/de/wiki/#logits) - [Attention Mechanism](https://www.mef-llm-studio.com/de/wiki/#attention) - [Temperatur](https://www.mef-llm-studio.com/de/wiki/#temperature) - [Kausale Maske](https://www.mef-llm-studio.com/de/wiki/#causal-mask) ## Sampling Die Auswahl des nächsten Tokens aus der Wahrscheinlichkeitsverteilung des Modells. **Was bedeutet das?:** Nach Temperatur und optionalen Filtern wie Top-k und Top-p wird das nächste Token zufällig gezogen, im Verhältnis zu den verbleibenden Wahrscheinlichkeiten. Greedy-Decoding nimmt stattdessen immer das wahrscheinlichste Token; das entspricht Temperatur 0. **Warum ist das wichtig?:** Dasselbe Modell kann mit derselben Eingabe verschiedene Fortsetzungen erzeugen; die Sampling-Einstellungen steuern, wie vielfältig und wie riskant sie sind. **Wichtige Grenze:** Sampling ändert weder das Gelernte noch die Scores des Modells. Ein gezogenes Token ist nicht automatisch das beste oder ein richtiges. - [Temperatur](https://www.mef-llm-studio.com/de/wiki/#temperature) - [Top-k](https://www.mef-llm-studio.com/de/wiki/#top-k) - [Top-p](https://www.mef-llm-studio.com/de/wiki/#top-p) - [Seed](https://www.mef-llm-studio.com/de/wiki/#seed) - [Softmax](https://www.mef-llm-studio.com/de/wiki/#softmax) - [Logits](https://www.mef-llm-studio.com/de/wiki/#logits) ## Temperatur Teilt die Logits vor dem Sampling: Unter 1 wird die Verteilung spitzer, über 1 flacher. **Was bedeutet das?:** Die Logits werden durch die Temperatur geteilt, bevor Softmax angewendet wird. Unter 1 wird die Verteilung spitzer, wahrscheinliche Tokens werden noch wahrscheinlicher; über 1 wird sie flacher, unwahrscheinliche Tokens gewinnen Wahrscheinlichkeit; Temperatur 0 nimmt immer das wahrscheinlichste Token. **Warum ist das wichtig?:** Sie ist der wichtigste Regler zwischen vorhersehbarem und abwechslungsreichem Text. **Wichtige Grenze:** Die Temperatur ändert die Auswahlverteilung, nicht die Scores oder das Wissen des Modells. - [Sampling](https://www.mef-llm-studio.com/de/wiki/#sampling) - [Logits](https://www.mef-llm-studio.com/de/wiki/#logits) - [Softmax](https://www.mef-llm-studio.com/de/wiki/#softmax) - [Top-k](https://www.mef-llm-studio.com/de/wiki/#top-k) - [Top-p](https://www.mef-llm-studio.com/de/wiki/#top-p) ## Top-k Ein Sampling-Filter, der nur die k wahrscheinlichsten Tokens behält. **Was bedeutet das?:** Alle Tokens außerhalb der k höchsten Scores werden vor dem Ziehen entfernt, die übrigen Wahrscheinlichkeiten neu normiert. In dieser App schaltet k = 0 den Filter aus; er wird vor Top-p angewendet. **Warum ist das wichtig?:** Er schneidet den langen Schwanz unwahrscheinlicher Tokens ab, die eine Fortsetzung entgleisen lassen können. **Wichtige Grenze:** Ein festes k ignoriert, wie die Wahrscheinlichkeit verteilt ist: Mal sind k Tokens zu viele, mal zu wenige. - [Top-p](https://www.mef-llm-studio.com/de/wiki/#top-p) - [Sampling](https://www.mef-llm-studio.com/de/wiki/#sampling) - [Temperatur](https://www.mef-llm-studio.com/de/wiki/#temperature) ## Top-p Ein Sampling-Filter, der die kleinste Tokenmenge behält, die zusammen die Wahrscheinlichkeit p erreicht. **Was bedeutet das?:** Die Tokens werden nach Wahrscheinlichkeit sortiert und behalten, bis ihre kumulierte Wahrscheinlichkeit p erreicht; die übrigen werden vor dem Ziehen entfernt. Das wahrscheinlichste Token bleibt immer erhalten, und p = 1 behält alle Tokens. **Warum ist das wichtig?:** Anders als Top-k passt er sich der Verteilung an: wenige Kandidaten, wenn das Modell sicher ist, mehr, wenn es unsicher ist. **Wichtige Grenze:** Top-p begrenzt die Wahrscheinlichkeitsmasse, aus der gezogen wird, nicht die Qualität der Fortsetzung. - [Top-k](https://www.mef-llm-studio.com/de/wiki/#top-k) - [Sampling](https://www.mef-llm-studio.com/de/wiki/#sampling) - [Temperatur](https://www.mef-llm-studio.com/de/wiki/#temperature) - [Softmax](https://www.mef-llm-studio.com/de/wiki/#softmax) ## Seed Der Startwert eines Pseudozufallsgenerators. **Was bedeutet das?:** Derselbe Seed wiederholt mit demselben Code, Modell, denselben Einstellungen und derselben Hardware dieselben Zufallsentscheidungen, etwa die beim Sampling gezogenen Tokens oder die Reihenfolge der Beispiele im Training. **Warum ist das wichtig?:** Er macht Experimente wiederholbar und vergleichbar. **Wichtige Grenze:** Ein Seed macht kein Ergebnis richtig, und gleiche Seeds mit anderen Eingaben oder Einstellungen führen zu anderen Ziehungen. Manche GPU-Operationen sind selbst mit festem Seed nicht vollständig deterministisch. - [Sampling](https://www.mef-llm-studio.com/de/wiki/#sampling) - [Temperatur](https://www.mef-llm-studio.com/de/wiki/#temperature) - [Training](https://www.mef-llm-studio.com/de/wiki/#training) ## Kontext Die Tokens, die ein Modell in einem Durchlauf wirklich verarbeitet: Eingabe plus bisher Erzeugtes. **Was bedeutet das?:** Beim Generieren wächst der Kontext um ein Token pro Runde: erst die Eingabe-Tokens, dann die in früheren Runden gewählten Tokens. Er wächst bis zum Context Window; darüber hinaus behalten die eigenen Modelle der App nur die letzten block_size Tokens, und Modelle mit KV Cache berechnen nur das neue Token und nutzen für den Rest die gespeicherten Keys und Values. **Warum ist das wichtig?:** Das nächste Token hängt nur vom Kontext ab: Ändert sich ein Token darin, kann sich jede spätere Spur ändern. **Wichtige Grenze:** Der Kontext ist nicht das Context Window. Ein längerer Kontext wird nicht automatisch besser genutzt, und Text jenseits des Context Windows erreicht das Modell nie. - [Context Windows](https://www.mef-llm-studio.com/de/wiki/#context-windows) - [Tokenization](https://www.mef-llm-studio.com/de/wiki/#tokenization) - [Forward Pass (Durchlauf)](https://www.mef-llm-studio.com/de/wiki/#forward-pass) - [KV Cache](https://www.mef-llm-studio.com/de/wiki/#kv-cache) ## Token-Embedding Der gelernte Vektor, den ein Sprachmodell vor dem ersten Block für jede Token-ID nachschlägt. **Was bedeutet das?:** Die Embedding-Tabelle hat für jedes Vokabular-Token eine Zeile mit n_embd Zahlen. Jede Token-ID im Kontext wählt ihre Zeile; in GPT-2-artigen Modellen wird der Vektor ihrer Position addiert, und die Summe geht in den ersten Block. **Warum ist das wichtig?:** Es macht aus diskreten IDs Zahlen, mit denen die Blöcke rechnen können; ähnlich verwendete Tokens können ähnliche Vektoren bekommen. **Wichtige Grenze:** Der Vektor ist gelernt und hat keine feste Wörterbuchbedeutung; für sich weiß er nichts über die Position oder die Nachbarn des Tokens. - [Embeddings](https://www.mef-llm-studio.com/de/wiki/#embeddings) - [Tokenization](https://www.mef-llm-studio.com/de/wiki/#tokenization) - [Positional Encoding](https://www.mef-llm-studio.com/de/wiki/#positional-encoding) - [Residualstrom](https://www.mef-llm-studio.com/de/wiki/#residual-stream) ## Diffusionsmodell Ein Generator, der das Hinzufügen von Rauschen durch wiederholte Änderungen umzukehren lernt. **Was bedeutet das?:** Das Vision-Lernmodell sagt hinzugefügtes Rauschen aus einem verrauschten Bild, einem Diffusions-Zeitschritt und einer Beschreibung vorher. Die Generierung startet mit Rauschen und verwendet die Vorhersagen für Scheduler-Aktualisierungen. **Warum ist das wichtig?:** Erklärt die Zwischenzustände der gesamten Bildgenerierung. **Wichtige Grenze:** Eine Entrauschungsänderung verändert das Bild; eine Trainingsänderung verändert die Gewichte. - [Rauschvorhersage](https://www.mef-llm-studio.com/de/wiki/#noise-prediction) - [Rauschplan](https://www.mef-llm-studio.com/de/wiki/#noise-schedule) - [Latente Diffusion](https://www.mef-llm-studio.com/de/wiki/#latent-diffusion) ## Diffusions-Zeitschritt Ein Index für die Rauschstufe, die das Entrauschungsmodell verarbeitet. **Was bedeutet das?:** Das kleine Vision-Modell erhält neben dem verrauschten Bild einen Zeitschritt. Trainingsbeispiele können verschiedene Stufen verwenden; die Generierung durchläuft den Diffusionsplan. **Warum ist das wichtig?:** Unterscheidet Rauschstufe und Anzahl der Optimierer-Aktualisierungen. **Wichtige Grenze:** Ein Zeitschritt ist weder verstrichene Zeit noch der Step-Zähler. - [Rauschplan](https://www.mef-llm-studio.com/de/wiki/#noise-schedule) - [Diffusionsmodell](https://www.mef-llm-studio.com/de/wiki/#diffusion-model) ## Rauschplan Die Folge von Rauschstärken eines Diffusionsprozesses. **Was bedeutet das?:** Das Vision-Lernmodell speichert Rauschkoeffizienten für seine Diffusionsstufen. Beim Training mischen sie Bild und Rauschen; die Generierung verwendet die zugehörige Rückwärtsaktualisierung. **Warum ist das wichtig?:** Verbindet einen Zeitschritt mit der Rauschstärke der Eingabe. **Wichtige Grenze:** Ein Rauschplan ist kein Lernratenplan; dieser steuert Gewichtsänderungen. - [Diffusions-Zeitschritt](https://www.mef-llm-studio.com/de/wiki/#diffusion-timestep) - [Rauschvorhersage](https://www.mef-llm-studio.com/de/wiki/#noise-prediction) ## Bildbeschreibung Ein Text, der mit einem Bild zur Modellkonditionierung verbunden wird. **Was bedeutet das?:** Vision ordnet jedem Trainingsbild eine Beschreibung seines sichtbaren Inhalts zu. Das kleine Modell mittelt gelernte UTF-8-Byte-Embeddings zur Konditionierung der Rauschvorhersage. **Warum ist das wichtig?:** Einheitliche Beschreibungen verbinden sichtbare Unterschiede mit Text. **Wichtige Grenze:** Der kleine Byte-Encoder unterscheidet sich vom Textencoder des vortrainierten Starters. - [Datensatz](https://www.mef-llm-studio.com/de/wiki/#dataset) - [Tokenization](https://www.mef-llm-studio.com/de/wiki/#tokenization) - [Diffusionsmodell](https://www.mef-llm-studio.com/de/wiki/#diffusion-model) ## Rauschvorhersage Das Schätzen der Rauschkomponente eines verrauschten Bilds oder latenten Zustands. **Was bedeutet das?:** Der kleine Vision-Trainer fügt einem Bild Zufallsrauschen hinzu. Das Modell sagt es aus Bild, Beschreibung und Zeitschritt vorher; MSE vergleicht Vorhersage und bekanntes Rauschen. **Warum ist das wichtig?:** Das Trainingsziel ist bekannt, weil der Code es erzeugt. **Wichtige Grenze:** Die Vorhersage ist Rauschen, kein fertiges Bild und keine Objektklasse. - [Diffusionsmodell](https://www.mef-llm-studio.com/de/wiki/#diffusion-model) - [Mittlerer quadratischer Fehler](https://www.mef-llm-studio.com/de/wiki/#mse) - [Diffusions-Zeitschritt](https://www.mef-llm-studio.com/de/wiki/#diffusion-timestep) ## Mittlerer quadratischer Fehler Der Mittelwert der quadrierten Unterschiede zwischen Vorhersage und Ziel. **Was bedeutet das?:** MSE quadriert jeden Vorhersagefehler und mittelt die Werte. Vision verwendet ihn für vorhergesagtes und hinzugefügtes Rauschen, sowohl im Trainingsbatch als auch zur Validierung. **Warum ist das wichtig?:** Macht aus vielen numerischen Vorhersagefehlern eine skalare Zielfunktion. **Wichtige Grenze:** Die Skala hängt von der Zielrepräsentation ab; sie misst keine wahrgenommene Bildqualität. - [Loss](https://www.mef-llm-studio.com/de/wiki/#loss) - [Rauschvorhersage](https://www.mef-llm-studio.com/de/wiki/#noise-prediction) - [Validierungs-Loss](https://www.mef-llm-studio.com/de/wiki/#validation-loss) ## Latente Diffusion Diffusion in einer komprimierten Bildrepräsentation statt direkt in RGB-Pixeln. **Was bedeutet das?:** Der vortrainierte Vision-Starter verändert einen latenten Zustand. Sein VAE-Decoder erzeugt daraus Bildvorschauen. Der eigene kleine Trainer arbeitet dagegen im Pixelraum. **Warum ist das wichtig?:** Erklärt den Unterschied zwischen sichtbarer Vorschau und Entrauschungszustand. **Wichtige Grenze:** Latente Komponenten sind keine RGB-Pixel und keine einzeln benannten Objekte. - [Diffusionsmodell](https://www.mef-llm-studio.com/de/wiki/#diffusion-model) - [Variational Autoencoder](https://www.mef-llm-studio.com/de/wiki/#vae) - [Rauschvorhersage](https://www.mef-llm-studio.com/de/wiki/#noise-prediction) ## Variational Autoencoder Ein Encoder-Decoder-Modell für eine gelernte probabilistische Komprimierung. **Was bedeutet das?:** Ein VAE codiert Bilder in eine latente Verteilung und decodiert Repräsentationen zu Bildern. Vision nutzt den Decoder des Starters zur Anzeige aufgezeichneter latenter Zustände. **Warum ist das wichtig?:** Verbindet komprimierte Diffusionszustände mit sichtbaren Bildern. **Wichtige Grenze:** Decodierung kann Details verändern oder verlieren; der kleine Pixelraum-Trainer hat keinen VAE. - [Latente Diffusion](https://www.mef-llm-studio.com/de/wiki/#latent-diffusion) - [Embeddings](https://www.mef-llm-studio.com/de/wiki/#embeddings) ## U-Net Ein Netz mit Verkleinerung, Vergrößerung und Verbindungen zwischen passenden Auflösungen. **Was bedeutet das?:** U-Net-artige Entrauscher verbinden großräumige Merkmale niedrigerer Auflösung mit feineren Merkmalen aus Skip-Verbindungen. Der kleine Vision-Entrauscher hat einen kompakten Faltungsweg mit einer Skip-Verbindung. **Warum ist das wichtig?:** Erklärt die Kombination von Bildmerkmalen verschiedener räumlicher Größen. **Wichtige Grenze:** Ein U-Net muss keine Attention enthalten; seine Stufen sind keine Transformer-Blöcke. - [Diffusionsmodell](https://www.mef-llm-studio.com/de/wiki/#diffusion-model) - [Rauschvorhersage](https://www.mef-llm-studio.com/de/wiki/#noise-prediction) ## Classifier-free Guidance Kombiniert Vorhersagen mit und ohne Konditionierung für einen einstellbaren Texteffekt. **Was bedeutet das?:** Der vortrainierte Vision-Weg kombiniert Entrauschungsvorhersagen mit und ohne Textkonditionierung anhand der Guidance-Stärke. Das kleine Pixelraum-Modell bietet diesen Regler nicht. **Warum ist das wichtig?:** Verbindet die Guidance-Einstellung mit der Textkonditionierung beim Generieren. **Wichtige Grenze:** Höhere Guidance verbessert nicht zwingend die Qualität; sie ist keine Sampling-Temperatur. - [Latente Diffusion](https://www.mef-llm-studio.com/de/wiki/#latent-diffusion) - [Bildbeschreibung](https://www.mef-llm-studio.com/de/wiki/#image-caption) - [Rauschvorhersage](https://www.mef-llm-studio.com/de/wiki/#noise-prediction) ## Cross-Attention Attention, bei der Bildpositionen die Token-Vektoren des Text-Encoders lesen. **Was bedeutet das?:** Im U-Net von Stable Diffusion gewichten Cross-Attention-Schichten für jede räumliche Position des latenten Bildes die Prompt-Tokens: Queries kommen aus Bildmerkmalen, Keys und Values aus der Ausgabe des Text-Encoders. Der Vision Explorer zeigt pro Entrauschungsschritt die Gewichte einer aufgezeichneten Cross-Attention-Schicht. **Warum ist das wichtig?:** Zeigt, wo im Bild der Prompt die Vorhersage beim Entrauschen lenken kann. **Wichtige Grenze:** Die Gewichte zeigen, was eine Schicht aus dem Prompt liest, nicht warum etwas gezeichnet wird; andere Schichten und Heads wirken mit. - [Attention Mechanism](https://www.mef-llm-studio.com/de/wiki/#attention) - [U-Net](https://www.mef-llm-studio.com/de/wiki/#u-net) - [Text-Encoder (CLIP)](https://www.mef-llm-studio.com/de/wiki/#text-encoder) - [Classifier-free Guidance](https://www.mef-llm-studio.com/de/wiki/#classifier-free-guidance) ## Scheduler (Sampler) Die Regel, die aus dem vorhergesagten Rauschen jedes Schritts den nächsten Zustand macht. **Was bedeutet das?:** Ein Diffusions-Scheduler legt die Folge der Zeitschritte fest und verrechnet in jedem Schritt den aktuellen verrauschten Zustand mit der Rauschvorhersage des Modells zum nächsten Zustand. Die vortrainierten Vision-Modelle nutzen PNDM; jeder aufgezeichnete Schritt zeigt Zustand davor, vorhergesagtes Rauschen und Änderung. **Warum ist das wichtig?:** Erklärt, warum dasselbe Modell mit anderem Scheduler oder anderer Schrittzahl andere Bilder liefern kann. **Wichtige Grenze:** Ein Scheduler hat keine eigenen trainierten Gewichte und entscheidet nicht, was gezeichnet wird. - [Rauschplan](https://www.mef-llm-studio.com/de/wiki/#noise-schedule) - [Diffusions-Zeitschritt](https://www.mef-llm-studio.com/de/wiki/#diffusion-timestep) - [Rauschvorhersage](https://www.mef-llm-studio.com/de/wiki/#noise-prediction) - [Diffusionsmodell](https://www.mef-llm-studio.com/de/wiki/#diffusion-model) ## Text-Encoder (CLIP) Das Netz, das die Tokens des Prompts in Vektoren für den Bild-Entrauscher übersetzt. **Was bedeutet das?:** Stable Diffusion zerlegt den Prompt in höchstens 77 Tokens, füllt den Rest auf und schickt sie durch einen CLIP-Text-Encoder. Seine Ausgabevektoren sind in jedem Entrauschungsschritt die Keys und Values der Cross-Attention im U-Net. **Warum ist das wichtig?:** Verbindet den eingegebenen Prompt mit dem, was der Entrauscher beim Entfernen des Rauschens lesen kann. **Wichtige Grenze:** Der Text-Encoder bleibt bei der Bilderzeugung unverändert und erzeugt keinen Text. - [Tokenization](https://www.mef-llm-studio.com/de/wiki/#tokenization) - [Cross-Attention](https://www.mef-llm-studio.com/de/wiki/#cross-attention) - [Latente Diffusion](https://www.mef-llm-studio.com/de/wiki/#latent-diffusion) - [Classifier-free Guidance](https://www.mef-llm-studio.com/de/wiki/#classifier-free-guidance) ## Bild-Encoder Ein vortrainiertes Bildnetz, das ein Bild in Tokens übersetzt, die ein Sprachmodell lesen kann. **Was bedeutet das?:** In encoder-basierten Vision-Language-Modellen zerlegt ein Vision Transformer wie CLIP oder SigLIP das Bild in Patches, lässt sie in beide Richtungen aufeinander achten und gibt das Ergebnis über einen Adapter und einen Projektor als Bild-Tokens an das Sprachmodell weiter. Er bringt ein visuelles Vorwissen mit, das aus großen Sammlungen von Bild-Text-Paaren gelernt wurde. **Warum ist das wichtig?:** Das Sprachmodell kann Bilder vom ersten Trainings-Step an nutzen, statt das Sehen aus rohen Pixeln zu lernen. **Wichtige Grenze:** Das ist die Bildseite von Modellen, die Bilder verstehen. In Stable Diffusion liest der CLIP-Text-Encoder den Prompt, kein Bild. - [Vision-Language Models](https://www.mef-llm-studio.com/de/wiki/#vision-language-models) - [Bild-Patch-Token](https://www.mef-llm-studio.com/de/wiki/#image-patch-token) - [Encoder-freies multimodales Modell](https://www.mef-llm-studio.com/de/wiki/#encoder-free-multimodal) - [Text-Encoder (CLIP)](https://www.mef-llm-studio.com/de/wiki/#text-encoder) - [Attention Mechanism](https://www.mef-llm-studio.com/de/wiki/#attention) ## Encoder-freies multimodales Modell Ein Sprachmodell, das Bild-Patches direkt liest, ohne separates vortrainiertes Bildnetz. **Was bedeutet das?:** Encoder-freie Modelle projizieren rohe Bild-Patches direkt in das Sprachmodell, das die Bildmerkmale selbst lernen muss. In einem kontrollierten Vergleich (Chen et al., 2026) erreichten sie bei den gemessenen Größen einen höheren multimodalen Loss als encoder-basierte Modelle, ihr Loss sank aber mit mehr Rechenaufwand schneller; ihre frühen Layer übernahmen die Arbeit, die sonst ein Bild-Encoder leistet. **Warum ist das wichtig?:** Zeigt einen anderen Aufbau: ein Netz für Bild und Text statt Bild-Encoder plus Sprachmodell. **Wichtige Grenze:** Das vorhergesagte Aufholen bei etwa 10^22 Trainings-FLOPs ist eine Extrapolation angepasster Skalierungsgesetze, weit jenseits dessen, was diese App trainiert. - [Bild-Encoder](https://www.mef-llm-studio.com/de/wiki/#visual-encoder) - [Bild-Patch-Token](https://www.mef-llm-studio.com/de/wiki/#image-patch-token) - [Skalierungsgesetze](https://www.mef-llm-studio.com/de/wiki/#scaling-laws) - [Vision-Language Models](https://www.mef-llm-studio.com/de/wiki/#vision-language-models) - [Transformer-Block](https://www.mef-llm-studio.com/de/wiki/#transformer-block) ## Bild-Patch-Token Ein kleines Quadrat eines Bildes als ein Vektor, damit ein Transformer das Bild als Folge behandeln kann. **Was bedeutet das?:** Das Bild wird in Patches fester Größe zerlegt, zum Beispiel 16×16 Pixel; jeder Patch wird flachgelegt und auf die Modellbreite projiziert, sodass pro Patch ein Token entsteht. Innerhalb eines Bildes dürfen diese Tokens oft in beide Richtungen aufeinander achten, anders als Text-Tokens unter einer kausalen Maske. **Warum ist das wichtig?:** Bilder nutzen damit dieselbe Token- und Attention-Mechanik wie Text. **Wichtige Grenze:** Ein Patch-Token enthält Pixel, kein Wort; er bedeutet nur das, was das Netz daraus lernt. - [Tokenization](https://www.mef-llm-studio.com/de/wiki/#tokenization) - [Token-Embedding](https://www.mef-llm-studio.com/de/wiki/#token-embedding) - [Kausale Maske](https://www.mef-llm-studio.com/de/wiki/#causal-mask) - [Bild-Encoder](https://www.mef-llm-studio.com/de/wiki/#visual-encoder) - [Encoder-freies multimodales Modell](https://www.mef-llm-studio.com/de/wiki/#encoder-free-multimodal) ## Skalierungsgesetze Angepasste Regeln dafür, wie der Loss sinkt, wenn Modellgröße, Trainingsdaten und Rechenaufwand wachsen. **Was bedeutet das?:** Skalierungsgesetze beschreiben den Validierungs-Loss als Potenzgesetz von Trainingsrechenaufwand, Modellgröße und Token-Anzahl, angepasst an viele kleinere Läufe. Die Chinchilla-Methode trainiert Modelle unterschiedlicher Größe mit demselben Rechenbudget (IsoFLOP-Profile), um die rechenoptimale Aufteilung zwischen Parametern und Tokens zu finden. **Warum ist das wichtig?:** Damit lassen sich große Läufe aus kleinen vorhersagen und Bauweisen bei gleichem Rechenaufwand vergleichen. **Wichtige Grenze:** Ein angepasstes Gesetz beschreibt den gemessenen Bereich; alles darüber hinaus ist eine Extrapolation und kann falsch sein. - [Training](https://www.mef-llm-studio.com/de/wiki/#training) - [Loss](https://www.mef-llm-studio.com/de/wiki/#loss) - [Validierungs-Loss](https://www.mef-llm-studio.com/de/wiki/#validation-loss) - [Encoder-freies multimodales Modell](https://www.mef-llm-studio.com/de/wiki/#encoder-free-multimodal) ## RGB444-Farb-Tokens Eine Palette mit 4.096 Farben: eine Token-ID pro Pixelfarbe. **Was bedeutet das?:** RGB444 verwendet vier Bits für Rot, Grün und Blau. Bei Kanalwerten von 0 bis 15 gilt: ID = Rot × 256 + Grün × 16 + Blau. Angezeigte RGB-Kanäle werden mit 17 multipliziert. Das Formenmodell sagt diese Farb-IDs pro Bildzeile vorher. **Warum ist das wichtig?:** Bildtokenisierung ist damit direkt umkehrbar und ohne gelerntes Bild-Codebuch untersuchbar. **Wichtige Grenze:** Eine Farb-ID enthält weder Ort noch Objektidentität. Eine größere Palette verkürzt die Bildsequenz nicht. - [Tokenization](https://www.mef-llm-studio.com/de/wiki/#tokenization) - [Bildbeschreibung](https://www.mef-llm-studio.com/de/wiki/#image-caption) ## Teacher Forcing Beim Training wird mit richtigen Vorgängerdaten statt mit der eigenen erzeugten Ausgabe weitergerechnet. **Was bedeutet das?:** Im Formenmodell wird die Zielzeile aus Beschreibung, Position, rekurrentem Zustand und richtiger vorheriger Bildzeile vorhergesagt. Beim Generieren wird die eigene vorhergesagte Zeile zurückgeführt. Der Trainingsfehler ist Kreuzentropie über 4.096 Farbklassen pro Pixel. **Warum ist das wichtig?:** Erklärt, warum sinkender Trainingsfehler und sich fortsetzende Fehler beim Generieren gleichzeitig auftreten können. **Wichtige Grenze:** Garantiert keine korrekten frei erzeugten Bilder. Pixel derselben erzeugten Zeile sind bedingt unabhängig. - [RGB444-Farb-Tokens](https://www.mef-llm-studio.com/de/wiki/#rgb444) - [Training](https://www.mef-llm-studio.com/de/wiki/#training) - [Loss](https://www.mef-llm-studio.com/de/wiki/#loss) ## Lernrate Wie weit der Optimierer die Gewichte in einem Step verschiebt. **Was bedeutet das?:** Die Lernrate skaliert jede Änderung, die der Optimierer an den Gewichten vornimmt. Auf der Trainingsseite steigt sie während eines kurzen Warmups an und fällt dann kosinusförmig auf ein Zehntel ihres Höchstwerts; auf der Formen-Seite fällt sie kosinusförmig auf ein Zehntel oder bleibt konstant. **Warum ist das wichtig?:** Eine zu hohe Lernrate lässt den Loss springen oder divergieren; eine zu niedrige verschenkt Steps. **Wichtige Grenze:** Es gibt keinen allgemein richtigen Wert. Er hängt mit Batchgröße, Optimierer und Modellgröße zusammen, und ein guter Wert für einen Lauf ist für den nächsten nur ein Startpunkt. - [Optimierer](https://www.mef-llm-studio.com/de/wiki/#optimizer) - [Step](https://www.mef-llm-studio.com/de/wiki/#training-step) - [Batchgröße](https://www.mef-llm-studio.com/de/wiki/#batch-size) - [AdamW](https://www.mef-llm-studio.com/de/wiki/#adamw) - [Training](https://www.mef-llm-studio.com/de/wiki/#training) ## Batchgröße Wie viele Beispiele ein Step mittelt, bevor sich die Gewichte ändern. **Was bedeutet das?:** Ein Batch ist die Gruppe von Beispielen, deren Loss zu einem Gradienten und einer Änderung gemittelt wird. Auf der Trainingsseite entsteht der Batch eines Steps aus Micro batches: Der Micro batch ist, was auf einmal auf die Karte passt, und die Gradient Accumulation addiert Micro batches bis zur geplanten Größe des Steps. Auf der Formen-Seite ist die Batchgröße die Zahl der Bilder pro Step. **Warum ist das wichtig?:** Größere Batches geben pro Step einen ruhigeren Gradienten, kosten aber Speicher und Zeit; zusammen mit den Steps bestimmen sie, wie viele Daten ein Lauf sieht. **Wichtige Grenze:** Ein größerer Batch ist nicht automatisch besser, und eine andere Batchgröße braucht meist eine andere Lernrate. Der Micro batch ändert Geschwindigkeit und Speicher, nicht die Größe eines Steps. - [Step](https://www.mef-llm-studio.com/de/wiki/#training-step) - [Epoch](https://www.mef-llm-studio.com/de/wiki/#epoch) - [Lernrate](https://www.mef-llm-studio.com/de/wiki/#learning-rate) - [Training](https://www.mef-llm-studio.com/de/wiki/#training) ## Step Ein Update der Gewichte: Batch rein, Loss, Gradient, eine Änderung durch den Optimierer. **Was bedeutet das?:** Ein Step schickt einen Batch durch das Modell, berechnet den Loss, führt den Gradienten zurück und lässt den Optimierer die Gewichte einmal ändern. Der Step-Zähler eines Laufs zählt diese Änderungen; Checkpoints, Auswertungen und der Verlauf der Lernrate richten sich nach ihm. **Warum ist das wichtig?:** Steps sind die Uhr eines Trainingslaufs: Laufdauer, Speicherintervall und Loss-Kurven werden in Steps gemessen. **Wichtige Grenze:** Ein Step ist keine Epoch und kein Generierungsschritt. Wie viel ein Step lernt, hängt von Batchgröße und Lernrate ab. Die Entrauschungsschritte der Bildgenerierung sind ein anderer Zähler. - [Batchgröße](https://www.mef-llm-studio.com/de/wiki/#batch-size) - [Epoch](https://www.mef-llm-studio.com/de/wiki/#epoch) - [Lernrate](https://www.mef-llm-studio.com/de/wiki/#learning-rate) - [Checkpoint](https://www.mef-llm-studio.com/de/wiki/#checkpoint) - [Training](https://www.mef-llm-studio.com/de/wiki/#training) ## Epoch Ein vollständiger Durchlauf aller Trainingsdaten durch das Modell. **Was bedeutet das?:** Eine Epoch ist abgeschlossen, wenn jedes Trainingsbeispiel einmal verwendet wurde. Bei fester Batchgröße gilt: Epochs ≈ Steps × Batchgröße ÷ Zahl der Trainingsbeispiele. Die Formen-Seite zeigt diese Schätzung neben den Steps; die Trainingsseite zählt stattdessen Steps und Tokens. **Warum ist das wichtig?:** Epochs sagen, wie oft das Modell dieselben Daten wieder sieht, und genau das treibt bei kleinen Datensätzen das Auswendiglernen. **Wichtige Grenze:** Die App trainiert nach Steps, nicht nach Epochs, die Zahl ist also eine Schätzung. Mehr Epochs auf einer kleinen Menge können den Trainings-Loss senken, während die Validierung schlechter wird. - [Step](https://www.mef-llm-studio.com/de/wiki/#training-step) - [Batchgröße](https://www.mef-llm-studio.com/de/wiki/#batch-size) - [Datensatz](https://www.mef-llm-studio.com/de/wiki/#dataset) - [Validierungs-Loss](https://www.mef-llm-studio.com/de/wiki/#validation-loss) ## Gate Eine gelernte Zahl zwischen 0 und 1, die zwei Quellen zu einem Ergebnis mischt. **Was bedeutet das?:** Im Formenmodell berechnet jedes Pixel ein Gate g zwischen 0 und 1. Die Wahrscheinlichkeit einer Farbe ist g × die Farbe, die die Beschreibung nennt, plus (1 − g) × die eigene Farbvorhersage des Modells. Der Explorer zeigt g als Anteil aus der Beschreibung; nennt die Beschreibung keine Farbe, ist das Gate geschlossen (0). **Warum ist das wichtig?:** Es zeigt, ob die Farbe eines Pixels aus dem Text übernommen wurde oder aus dem Gelernten kommt, etwa aus der Farbe der Zeile darüber. **Wichtige Grenze:** Ein Gate ist ein berechnetes Gewicht, keine Entscheidung oder Absicht des Modells. Ein Gate nahe 100 % sagt, woher die Farbe kommt, nicht dass das Pixel am richtigen Ort liegt. - [RGB444-Farb-Tokens](https://www.mef-llm-studio.com/de/wiki/#rgb444) - [Teacher Forcing](https://www.mef-llm-studio.com/de/wiki/#teacher-forcing) - [Attention Mechanism](https://www.mef-llm-studio.com/de/wiki/#attention) - [Softmax](https://www.mef-llm-studio.com/de/wiki/#softmax) ## Python Eine Programmiersprache, in der viele KI-Werkzeuge geschrieben sind. **Was bedeutet das?:** Python führt Programme aus. Die Rechenseite von LLM Studio nutzt Python, um Daten vorzubereiten und Bibliotheken wie PyTorch aufzurufen. Die Windows-Oberfläche ist ein anderer Teil der App. **Warum ist das wichtig?:** Das erklärt, warum beim Einrichten neben der App auch eine Python-Umgebung und Pakete vorbereitet werden. **Wichtige Grenze:** Python allein enthält kein trainiertes Modell. Für die Lernpfade musst du nicht selbst Python programmieren. - [PyTorch](https://www.mef-llm-studio.com/de/wiki/#pytorch) - [NumPy](https://www.mef-llm-studio.com/de/wiki/#numpy) ## PyTorch Ein Software-Werkzeugkasten zum Rechnen mit neuronalen Netzen. **Was bedeutet das?:** PyTorch ist eine Bibliothek, die von Python aus benutzt werden kann. Sie rechnet mit Tensoren, stellt Bausteine neuronaler Netze bereit und berechnet beim Training automatisch Ableitungen für die Gewichtsänderungen. LLM Studio verwendet sie auf der Rechenseite. **Warum ist das wichtig?:** Das Modell ist der Bauplan mit seinen gelernten Gewichten; PyTorch ist das Werkzeug, das die Berechnungen ausführt. **Wichtige Grenze:** PyTorch ist weder ein fertiger Chatbot noch ein bestimmtes Modell. CPU- oder GPU-Nutzung hängt von Installation, Hardware und dem gewählten Arbeitsablauf ab. - [Python](https://www.mef-llm-studio.com/de/wiki/#python) - [Tensor](https://www.mef-llm-studio.com/de/wiki/#tensor) - [CPU](https://www.mef-llm-studio.com/de/wiki/#cpu) - [GPU](https://www.mef-llm-studio.com/de/wiki/#gpu) - [CUDA](https://www.mef-llm-studio.com/de/wiki/#cuda) - [Optimierer](https://www.mef-llm-studio.com/de/wiki/#optimizer) ## Tensor Ein Zahlenfeld mit einer festgelegten Form. **Was bedeutet das?:** In PyTorch kann ein Tensor zum Beispiel die Zahlen eines Wortvektors, die Farben eines Bildes oder die Gewichte einer Schicht enthalten. Seine Form nennt die Länge jeder Achse: 3 × 64 × 64 kann drei Farbkanäle eines 64 × 64 großen Bildes bedeuten. Der Datentyp legt fest, wie jede Zahl gespeichert wird. **Warum ist das wichtig?:** Tensoren verbinden die sichtbaren Farbraster und Vektorstreifen mit den tatsächlichen Zahlen im Modell. **Wichtige Grenze:** Die Form allein verrät nicht die Bedeutung der Achsen. Drei Achsen können je nach Rechenschritt etwas ganz anderes darstellen. - [PyTorch](https://www.mef-llm-studio.com/de/wiki/#pytorch) - [NumPy](https://www.mef-llm-studio.com/de/wiki/#numpy) - [Embeddings](https://www.mef-llm-studio.com/de/wiki/#embeddings) - [Safetensors](https://www.mef-llm-studio.com/de/wiki/#safetensors) ## CPU Der allgemeine Hauptprozessor des Computers. **Was bedeutet das?:** CPU steht für Central Processing Unit. Sie führt Programme aus, organisiert Daten und berechnet auch Tensoroperationen. Bei CPU-Berechnungen liegt der größte Teil der Modelldaten im Arbeitsspeicher, dem RAM. **Warum ist das wichtig?:** CPU und GPU sind zwei mögliche Rechenorte. So wird verständlich, warum eine Aufgabe ohne Grafikkarte länger dauern kann. **Wichtige Grenze:** CPU-Unterstützung von PyTorch bedeutet nicht, dass jede Funktion dieser App oder jedes beliebig große Modell auf CPU freigeschaltet ist. Zeit und verfügbarer RAM begrenzen den Einsatz. - [GPU](https://www.mef-llm-studio.com/de/wiki/#gpu) - [PyTorch](https://www.mef-llm-studio.com/de/wiki/#pytorch) ## GPU Ein Prozessor für sehr viele parallele Rechenoperationen. **Was bedeutet das?:** GPU steht für Graphics Processing Unit. Viele Operationen neuronaler Netze lassen sich in zahlreiche parallele Rechnungen zerlegen. Eine geeignete GPU kann diese beschleunigen; Modelle und Zwischenwerte benötigen dabei Platz in ihrem Grafikspeicher, dem VRAM. **Warum ist das wichtig?:** Das erklärt, warum beim Training sowohl die GPU-Unterstützung als auch der freie VRAM wichtig sind. **Wichtige Grenze:** Eine GPU macht nicht jede Aufgabe schneller. Hardware, Rechenverfahren und Software müssen zusammenpassen; RAM und VRAM sind nicht derselbe Speicher. - [CPU](https://www.mef-llm-studio.com/de/wiki/#cpu) - [CUDA](https://www.mef-llm-studio.com/de/wiki/#cuda) - [PyTorch](https://www.mef-llm-studio.com/de/wiki/#pytorch) ## CUDA NVIDIAs Softwareplattform zum Rechnen auf unterstützten NVIDIA-GPUs. **Was bedeutet das?:** CUDA stellt Programmierschnittstellen und Werkzeuge für allgemeine Berechnungen auf NVIDIA-GPUs bereit. In einem passenden PyTorch-Setup laufen damit Tensoroperationen auf der GPU statt auf der CPU. Ein kompatibler NVIDIA-Treiber wird benötigt. **Warum ist das wichtig?:** Der Begriff erklärt die Verbindung zwischen Grafikkarte, Treiber und der installierten PyTorch-Variante. **Wichtige Grenze:** CUDA ist keine Grafikkarte und kein Modell. Eine CPU-Installation braucht CUDA nicht; eine beliebige GPU oder eine separat installierte Toolkit-Version garantiert keine Kompatibilität. - [GPU](https://www.mef-llm-studio.com/de/wiki/#gpu) - [PyTorch](https://www.mef-llm-studio.com/de/wiki/#pytorch) - [CPU](https://www.mef-llm-studio.com/de/wiki/#cpu) ## NumPy Eine Python-Bibliothek für Zahlenfelder und numerische Datenverarbeitung. **Was bedeutet das?:** NumPy stellt mehrdimensionale Arrays und Rechenfunktionen bereit. Die Rechenseite dieser App verwendet es unter anderem bei der Datenvorbereitung. PyTorch-Tensoren ähneln solchen Arrays, können aber zusätzlich auf unterstützten GPUs rechnen und für das Training Ableitungen verfolgen. **Warum ist das wichtig?:** Das unterscheidet Datenwerkzeuge von Modellbibliotheken: Beide arbeiten mit Zahlen, haben aber unterschiedliche Aufgaben. **Wichtige Grenze:** Ein NumPy-Array ist kein trainiertes neuronales Netz. NumPy und PyTorch sind nicht in allen Operationen oder Speicherlayouts austauschbar. - [Python](https://www.mef-llm-studio.com/de/wiki/#python) - [Tensor](https://www.mef-llm-studio.com/de/wiki/#tensor) - [PyTorch](https://www.mef-llm-studio.com/de/wiki/#pytorch) ## Hugging Face Hub Eine Plattform für Modell-Dateien, Datensätze und deren Beschreibungen. **Was bedeutet das?:** Hugging Face betreibt den Hub und entwickelt Bibliotheken wie Transformers und Diffusers. Ein Modell-Repository kann Gewichte, Konfiguration, Tokenizer und eine Model Card mit Informationen zum Modell enthalten. Heruntergeladene Modelle können mit geeigneter Software lokal ausgeführt werden. **Warum ist das wichtig?:** So lassen sich die Downloadquelle, die Programmbibliothek und das eigentliche Modell auseinanderhalten. **Wichtige Grenze:** Ein Eintrag auf dem Hub garantiert weder Qualität noch App-Kompatibilität. Modellbeschreibung und jeweilige Nutzungsbedingungen gehören zum Prüfen dazu; lokales Laden ist nicht dasselbe wie ein gehosteter API-Aufruf. - [Transformers (Hugging Face)](https://www.mef-llm-studio.com/de/wiki/#transformers-library) - [Diffusers](https://www.mef-llm-studio.com/de/wiki/#diffusers) - [Safetensors](https://www.mef-llm-studio.com/de/wiki/#safetensors) ## Transformers (Hugging Face) Eine Bibliothek zum Laden und Benutzen unterstützter Modellarchitekturen. **Was bedeutet das?:** Hugging Face Transformers stellt Implementierungen von Modellarchitekturen und Werkzeuge für Tokenizer sowie die Ein- und Ausgabe bereit. Die App verwendet diese Bibliothek für unterstützte externe Modelle. Die trainierten Gewichte sind eigene Dateien. **Warum ist das wichtig?:** Transformers kann zwei Dinge meinen: die allgemeine Architektur oder diese konkrete Softwarebibliothek. **Wichtige Grenze:** Die Bibliothek ist nicht selbst Qwen oder ein anderer Checkpoint. Unterstützung durch die Bibliothek bedeutet nicht automatisch Unterstützung jeder Architektur und jeder Visualisierung in LLM Studio. - [Transformers](https://www.mef-llm-studio.com/de/wiki/#transformers) - [PyTorch](https://www.mef-llm-studio.com/de/wiki/#pytorch) - [Hugging Face Hub](https://www.mef-llm-studio.com/de/wiki/#hugging-face-hub) - [Tokenization](https://www.mef-llm-studio.com/de/wiki/#tokenization) ## Diffusers Eine Bibliothek mit Bausteinen für Diffusionsmodelle. **Was bedeutet das?:** Hugging Face Diffusers stellt Modellbausteine, Scheduler und Pipelines für Diffusionsverfahren bereit. Der Diffusionspfad der Vision-Seite nutzt solche Bausteine. Eine Pipeline kann zum Beispiel Textencoder, Rauschvorhersage, Scheduler und Bilddecoder verbinden. **Warum ist das wichtig?:** Das erklärt den Unterschied zwischen einer Bibliothek, einem Bildmodell und den einzelnen Schritten im Vision Explorer. **Wichtige Grenze:** Diffusers ist kein einzelnes trainiertes Bildmodell. Der Formen-Lernmodus mit Farb-Tokens ist ein anderer Rechenweg und keine Diffusers-Pipeline. - [PyTorch](https://www.mef-llm-studio.com/de/wiki/#pytorch) - [Hugging Face Hub](https://www.mef-llm-studio.com/de/wiki/#hugging-face-hub) - [Diffusionsmodell](https://www.mef-llm-studio.com/de/wiki/#diffusion-model) ## Safetensors Ein Dateiformat zum Speichern von Tensoren, oft Modellgewichten. **Was bedeutet das?:** Safetensors speichert benannte Tensoren mit Form, Datentyp und Zahlenwerten. Im Unterschied zu Python-Pickle benötigt das Lesen dieses Formats keine Ausführung eingebetteter Python-Objekte. Zum Benutzen von Gewichten werden weiterhin passende Architektur, Konfiguration und je nach Modell ein Tokenizer benötigt. **Warum ist das wichtig?:** So wird verständlich, warum ein heruntergeladenes Gewichtsfile allein nicht genügt und warum Checkpoints zum Modelltyp passen müssen. **Wichtige Grenze:** Das Format bestätigt weder Herkunft noch Qualität oder Nutzungsrechte. Auch das übrige Modellpaket und sein Programmcode müssen geprüft werden. - [Tensor](https://www.mef-llm-studio.com/de/wiki/#tensor) - [PyTorch](https://www.mef-llm-studio.com/de/wiki/#pytorch) - [Hugging Face Hub](https://www.mef-llm-studio.com/de/wiki/#hugging-face-hub) Contact: support@mef-llm-studio.com