{"schemaVersion":1,"language":"de","categories":["Grundlagen","Retrieval & Kontext","Agenten & Schnittstellen","Training & Anpassung","Inferenz & Betrieb","Qualität & Governance","Modalität & Produktion"],"topics":[{"id":"llm-fundamentals","number":1,"title":"LLM Fundamentals","category":"Grundlagen","summary":"Was ein großes Sprachmodell lernt, erzeugt und nicht garantiert.","definition":"Ein Large Language Model schätzt Wahrscheinlichkeiten für sprachliche Fortsetzungen aus gelernten Parametern. Es erzeugt plausible Sequenzen, besitzt aber von sich aus weder aktuelle Quellenautorität noch einen Wahrheitsbeweis für einzelne Aussagen.","importance":"Ohne dieses Grundbild werden Fluenz, Wissen, Schlussfolgern und Verifikation leicht miteinander verwechselt.","boundary":"Eine wahrscheinlich klingende Ausgabe ist weder automatisch wahr noch auf eine konkrete Quelle zurückführbar.","keywords":["language model","wahrscheinlichkeit","parameter","next token","generativ"],"related":["transformers","tokenization","llm-inference","hallucination-detection"]},{"id":"transformers","number":2,"title":"Transformers","category":"Grundlagen","summary":"Eine Architektur, die Sequenzen über Attention statt rekurrenter Zustandsketten verarbeitet.","definition":"Transformer bestehen aus wiederholten Attention- und Feed-Forward-Blöcken. Sie bilden Beziehungen zwischen Positionen einer Eingabesequenz ab und lassen sich stark parallel trainieren.","importance":"Sie bilden die technische Grundlage der meisten modernen Sprachmodelle und vieler multimodaler Modelle.","boundary":"Die Architektur sagt nichts darüber aus, ob ein Ergebnis korrekt, aktuell oder autorisiert ist.","keywords":["encoder","decoder","self attention","feed forward","sequence"],"related":["attention","multi-head-attention","transformer-block","residual-stream","positional-encoding","llm-fundamentals"]},{"id":"attention","number":3,"title":"Attention Mechanism","category":"Grundlagen","summary":"Jede Position mischt die Positionen, die sie lesen darf, mit Gewichten, die zusammen 100 % ergeben.","plain":"Jedes Wort schaut auf die früheren Wörter und entscheidet, wie wichtig jedes davon ist.","definition":"Für eine Query-Position bewertet Attention jeden Key, den sie lesen darf, macht aus den Scores per Softmax Gewichte und summiert die Values mit diesen Gewichten. Jeder Query-Head berechnet eigene Gewichte; in GPT-2-artigen Modellen hat jeder Head auch eigene Key- und Value-Projektionen, bei Grouped-Query-Attention (Llama, Qwen2) teilen sich mehrere Query-Heads einen Key/Value-Head.","importance":"Damit können Modelle weit entfernte Bezüge und kontextabhängige Beziehungen modellieren.","boundary":"Attention-Gewichte sind keine verlässliche Erklärung und kein Beweis kausaler Nutzung.","keywords":["query","key","value","weights","self attention"],"related":["transformers","multi-head-attention","attention-head","causal-mask","softmax","embeddings","observability"]},{"id":"multi-head-attention","number":4,"title":"Multi-Head Attention","category":"Grundlagen","summary":"Mehrere Attention-Projektionen betrachten dieselbe Sequenz parallel.","definition":"Multi-Head Attention teilt die Repräsentation in mehrere gelernte Aufmerksamkeitsköpfe. Jeder Kopf kann andere Beziehungen oder Projektionen erfassen; anschließend werden die Ergebnisse zusammengeführt.","importance":"Die parallelen Sichten erhöhen die Ausdrucksfähigkeit eines Transformer-Blocks.","boundary":"Ein Kopf besitzt keine fest zugesicherte semantische Rolle, solange diese Rolle nicht separat gemessen wurde.","keywords":["attention heads","projection","parallel","head anatomy"],"related":["attention","attention-head","transformer-block","transformers","llm-evaluation"]},{"id":"tokenization","number":5,"title":"Tokenization","category":"Grundlagen","summary":"Die Zerlegung von Text in diskrete Modell-Einheiten.","plain":"Text wird in kleine Stücke (Tokens) zerlegt: ganze Wörter, Wortteile oder einzelne Zeichen.","definition":"Tokenization übersetzt Text in IDs, die ein Modell verarbeiten kann. Je nach Verfahren entsprechen Tokens Wörtern, Wortteilen, Zeichen oder Bytes.","importance":"Sie beeinflusst Sequenzlänge, Mehrsprachigkeit, Zahlendarstellung und die Sicht des Modells auf Schreibvarianten.","boundary":"Token-Grenzen sind technische Grenzen und nicht automatisch linguistische oder ontologische Grenzen.","keywords":["bpe","sentencepiece","byte","subword","vocabulary"],"matchTerms":["Tokenizer","Tokenizers","Tokenizern"],"related":["embeddings","context-windows","llm-fundamentals"]},{"id":"embeddings","number":6,"title":"Embeddings","category":"Grundlagen","summary":"Gelernte Vektoren für diskrete oder strukturierte Objekte.","definition":"Embeddings bilden Tokens, Sätze, Dokumente oder andere Objekte auf dichte Zahlenvektoren ab. Ähnliche Vektoren können auf statistisch ähnliche Verwendung hinweisen.","importance":"Sie machen diskrete Eingaben für neuronale Modelle verarbeitbar und tragen semantische Suchverfahren.","boundary":"Vektornähe ist keine Identität, keine Wahrheit und keine Autoritätsbeziehung.","keywords":["vector","representation","similarity","dense"],"related":["token-embedding","semantic-search","vector-databases","attention"]},{"id":"positional-encoding","number":7,"title":"Positional Encoding","category":"Grundlagen","summary":"Information darüber, wo ein Element in einer Sequenz steht.","plain":"Zusatzinformation, die dem Modell sagt, an welcher Stelle im Text jedes Stück steht.","definition":"Da Attention allein keine Reihenfolge kennt, fügen Modelle Positionsinformation hinzu: GPT-2-artige Modelle addieren zu jedem Token-Embedding einen gelernten Positionsvektor, Rotary Encoding (RoPE, in Llama und Qwen2) dreht Queries und Keys innerhalb der Attention abhängig von der Position, und relative Verfahren verschieben die Attention-Scores. So kann das Modell Reihenfolge und Abstand unterscheiden.","importance":"Die Wahl beeinflusst Längen-Generalisierung und die Lernbarkeit relationaler Ordnung.","boundary":"Ein Positionssignal kann unerwünschte Shortcuts erzeugen, wenn Position und Ziel im Training korrelieren.","keywords":["rope","absolute position","relative position","sequence order"],"related":["transformers","attention","context-windows"]},{"id":"prompt-engineering","number":8,"title":"Prompt Engineering","category":"Grundlagen","summary":"Systematische Gestaltung der Anweisung und des bereitgestellten Kontexts.","definition":"Prompt Engineering strukturiert Aufgabe, Beispiele, Ausgabeformat, Grenzen und Kontext so, dass ein Modell verlässlicher auf eine gewünschte Rolle reagiert.","importance":"Es ist ein schneller Hebel für Verhalten, besonders ohne Training.","boundary":"Ein guter Prompt ist weder ein Sicherheitsmechanismus noch eine Garantie für Fakten- oder Tooltreue.","keywords":["system prompt","instruction","template","prompt design"],"related":["few-shot-learning","structured-outputs","prompt-evaluation","guardrails"]},{"id":"few-shot-learning","number":9,"title":"Few-Shot Learning","category":"Grundlagen","summary":"Aufgabensteuerung durch wenige Beispiele im Kontext.","definition":"Beim Few-Shot Learning erhält das Modell einige Eingabe-Ausgabe-Beispiele innerhalb des Prompts und leitet daraus das gewünschte Muster für neue Fälle ab.","importance":"Es kann Format und Aufgabenschema ohne Gewichtsupdate vermitteln.","boundary":"Beispiele verbrauchen Kontext und können unerwünschte Muster oder Fehler als Vorlage verankern.","keywords":["in-context learning","examples","demonstrations","zero shot"],"related":["prompt-engineering","context-windows","fine-tuning"]},{"id":"chain-of-thought","number":10,"title":"Chain-of-Thought","category":"Grundlagen","summary":"Zwischenschritte, die ein Modell vor oder mit seiner Antwort erzeugt.","definition":"Chain-of-Thought bezeichnet textuelle Zwischenüberlegungen, die komplexe Aufgaben in kleinere Schritte zerlegen können. Sichtbare Begründungen können hilfreich sein, sind aber selbst Modelltext.","importance":"Die Technik kann die Bearbeitung mehrstufiger Aufgaben verbessern und Fehlerstellen sichtbar machen.","boundary":"Eine plausible Gedankenkette ist kein Beweis, dass genau diese Schritte intern kausal waren oder sachlich stimmen.","keywords":["reasoning trace","scratchpad","reasoning","intermediate steps"],"related":["structured-outputs","llm-evaluation","observability"]},{"id":"rag","number":11,"title":"RAG","category":"Retrieval & Kontext","summary":"Retrieval-Augmented Generation verbindet Suche mit Textgenerierung.","definition":"RAG sucht zur Laufzeit relevante Inhalte und gibt sie einem Generator als Kontext. Dadurch müssen aktuelle oder private Fakten nicht vollständig in Modellgewichten liegen.","importance":"Es verbessert Aktualisierbarkeit und kann Quellenbezug ermöglichen.","boundary":"Gefunden bedeutet nicht zugelassen; Kontext bedeutet nicht Evidenz; Zitieren bedeutet nicht, dass die Aussage aus der Quelle folgt.","keywords":["retrieval augmented generation","grounding","documents","context"],"related":["semantic-search","reranking","chunking","vector-databases"]},{"id":"vector-databases","number":12,"title":"Vector Databases","category":"Retrieval & Kontext","summary":"Speicher und Indexe für Ähnlichkeitssuche über Vektoren.","definition":"Eine Vector Database speichert Embeddings zusammen mit IDs und Metadaten und findet Einträge anhand eines Distanz- oder Ähnlichkeitsmaßes.","importance":"Sie macht semantische Suche über große Bestände praktikabel.","boundary":"Der Index entscheidet über Nähe, nicht über Gültigkeit, Aktualität, Rechte oder Widerspruch.","keywords":["ann","index","cosine similarity","embedding store"],"related":["embeddings","semantic-search","rag","hybrid-search"]},{"id":"semantic-search","number":13,"title":"Semantic Search","category":"Retrieval & Kontext","summary":"Suche nach Bedeutungsnähe statt nur nach identischen Zeichenfolgen.","definition":"Semantic Search kodiert Anfrage und Inhalte in Repräsentationen und rankt Kandidaten nach modellierter Bedeutungsnähe.","importance":"Sie findet paraphrasierte oder begrifflich verwandte Inhalte, die eine reine Stichwortsuche verpasst.","boundary":"Semantische Nähe kann selbstbewusst falsche Kandidaten liefern und braucht Open-Set- und Authority-Grenzen.","keywords":["dense retrieval","similarity","meaning","nearest neighbor"],"related":["embeddings","vector-databases","hybrid-search","reranking"]},{"id":"hybrid-search","number":14,"title":"Hybrid Search","category":"Retrieval & Kontext","summary":"Kombination aus lexikalischer und semantischer Suche.","definition":"Hybrid Search verbindet exakte oder termbasierte Treffer mit Embedding-basierter Ähnlichkeit und führt beide Ergebnislisten durch Regeln oder Ranking zusammen.","importance":"Sie deckt sowohl präzise Namen und IDs als auch sprachliche Varianten ab.","boundary":"Die Fusion braucht eine definierte Kalibrierung; zwei Scores aus verschiedenen Räumen sind nicht automatisch vergleichbar.","keywords":["bm25","dense sparse","fusion","lexical search"],"related":["semantic-search","reranking","vector-databases"]},{"id":"reranking","number":15,"title":"Reranking","category":"Retrieval & Kontext","summary":"Ein zweiter, genauerer Sortierschritt für bereits gefundene Kandidaten.","definition":"Ein Reranker bewertet eine kleine Kandidatenmenge mit mehr Kontext oder einem stärkeren Modell neu. Er optimiert die Reihenfolge, nicht die ursprüngliche Abdeckung.","importance":"Er kann relevante Evidenz früher platzieren und den aktiven Payload begrenzen.","boundary":"Ein Reranker kann keinen fehlenden Kandidaten zurückholen und darf Ranking nicht mit Admission verwechseln.","keywords":["cross encoder","ranking","candidate set","relevance"],"related":["semantic-search","hybrid-search","rag","model-routing"]},{"id":"chunking","number":16,"title":"Chunking Strategies","category":"Retrieval & Kontext","summary":"Wie Quellen in abrufbare Abschnitte zerlegt werden.","definition":"Chunking teilt Dokumente nach Länge, Sätzen, Abschnitten, Struktur oder semantischen Grenzen in Retrieval-Einheiten.","importance":"Die Zerlegung bestimmt, ob genug Kontext enthalten ist, ohne die Suche mit großen Blöcken zu verwischen.","boundary":"Ein Chunk darf seine Source-Spans, Version und Nachbarschaft nicht verlieren; sonst ist spätere Provenienz nur angenähert.","keywords":["document splitting","span","overlap","segmentation"],"related":["rag","context-windows","semantic-search"]},{"id":"context-windows","number":17,"title":"Context Windows","category":"Retrieval & Kontext","summary":"Die maximale aktive Eingabesequenz eines Modellaufrufs.","definition":"Das Context Window umfasst Systemanweisung, Nutzereingabe, Beispiele, abgerufene Inhalte und bisherige Ausgabe, die ein Modell in einem Aufruf berücksichtigen kann.","importance":"Es begrenzt aktive Information, Kosten und Laufzeit und beeinflusst, welche Inhalte gemeinsam verarbeitet werden.","boundary":"Mehr Kontext garantiert keine bessere Nutzung; irrelevante oder widersprüchliche Inhalte können Leistung verschlechtern.","keywords":["sequence length","tokens","long context","prompt size"],"related":["context","chunking","rag","kv-cache","cost-optimization"]},{"id":"function-calling","number":18,"title":"Function Calling","category":"Agenten & Schnittstellen","summary":"Modellausgabe in einem vorgegebenen Funktionsschema.","definition":"Function Calling lässt ein Modell einen Funktionsnamen und strukturierte Argumente vorschlagen, statt nur Freitext zu erzeugen.","importance":"Es schafft eine maschinenlesbare Naht zwischen Sprache und Programmcode.","boundary":"Schema-konforme Argumente sind nicht automatisch sinnvoll, sicher oder autorisiert.","keywords":["json schema","arguments","api call","structured call"],"related":["tool-calling","structured-outputs","mcp"]},{"id":"tool-calling","number":19,"title":"Tool Calling","category":"Agenten & Schnittstellen","summary":"Ein Modell schlägt die Nutzung einer externen Fähigkeit vor.","definition":"Tool Calling erweitert Function Calling um konkrete externe Aktionen wie Suche, Datenbankzugriff, Codeausführung oder Geschäftsoperationen.","importance":"Damit kann ein Sprachmodell Informationen beschaffen oder reale Systeme beeinflussen.","boundary":"Der Modellvorschlag darf nie allein die Ausführungsberechtigung sein; Fehler, Teilresultate und Seiteneffekte brauchen eigene Verträge.","keywords":["tools","actions","execution","transaction"],"related":["function-calling","ai-agents","mcp","guardrails"]},{"id":"ai-agents","number":20,"title":"AI Agents","category":"Agenten & Schnittstellen","summary":"Systeme, die Ziele über mehrere Modell- und Toolschritte verfolgen.","definition":"Ein AI Agent kombiniert Modellentscheidungen, Zustand, Tools und eine Steuerlogik, um eine Aufgabe über mehrere Schritte zu bearbeiten.","importance":"Agenten können dynamische Aufgaben lösen, bei denen der nächste Schritt erst aus dem vorherigen Ergebnis entsteht.","boundary":"Mehr Autonomie vergrößert Fehlerketten und Seiteneffekte; ein Loop ist keine Governance.","keywords":["agent","autonomy","planning","loop"],"related":["agentic-workflows","tool-calling","memory-systems","guardrails"]},{"id":"agentic-workflows","number":21,"title":"Agentic Workflows","category":"Agenten & Schnittstellen","summary":"Explizite Ablaufstruktur für agentische Schritte und Entscheidungen.","definition":"Agentic Workflows ordnen Modellaufrufe, Tools, Prüfungen, Wiederholungen und Übergaben zu einem kontrollierten Prozess.","importance":"Ein Workflow macht Autonomie begrenzbar und erlaubt spezialisierte Komponenten statt eines unklaren Endlos-Loops.","boundary":"Ein grafischer Ablauf beweist keine korrekte Autorität oder Fehlerbehandlung; jede Kante braucht Semantik.","keywords":["workflow","orchestration","state machine","loop"],"related":["ai-agents","multi-agent-systems","observability","production-genai"]},{"id":"memory-systems","number":22,"title":"Memory Systems","category":"Agenten & Schnittstellen","summary":"Persistenter oder laufzeitnaher Zustand außerhalb des Modellkontexts.","definition":"Memory Systems speichern Gespräche, Beobachtungen, Fakten, Arbeitszustand oder Zusammenfassungen über einzelne Modellaufrufe hinaus.","importance":"Sie ermöglichen Kontinuität und reduzieren die Notwendigkeit, alles erneut in den Prompt zu legen.","boundary":"Gespeichert bedeutet nicht wahr; Erinnerungen brauchen Herkunft, Version, Gültigkeit und Lösch- oder Widerrufsregeln.","keywords":["long term memory","state","store","conversation memory"],"related":["rag","ai-agents","vector-databases","observability"]},{"id":"multi-agent-systems","number":23,"title":"Multi-Agent Systems","category":"Agenten & Schnittstellen","summary":"Mehrere getrennte Agentenrollen arbeiten an derselben Aufgabe.","definition":"Multi-Agent Systems verteilen Planung, Recherche, Kritik oder Ausführung auf mehrere modell- oder regelbasierte Akteure mit definierten Nachrichtenwegen.","importance":"Spezialisierung und Gegenprüfung können komplexe Arbeit strukturieren.","boundary":"Übereinstimmung mehrerer Modelle ist keine unabhängige Wahrheit; gemeinsame Trainingsprägung kann denselben Fehler vervielfachen.","keywords":["agents","debate","orchestration","roles"],"related":["ai-agents","agentic-workflows","llm-evaluation"]},{"id":"mcp","number":24,"title":"MCP","category":"Agenten & Schnittstellen","summary":"Ein offenes Protokoll für Tools, Ressourcen und Prompts zwischen AI-Hosts und Servern.","definition":"Das Model Context Protocol standardisiert die Kommunikation zwischen Host, Clients und spezialisierten Servern. Server können klar deklarierte Ressourcen, Tools und Prompts anbieten; Fähigkeiten werden explizit ausgehandelt.","importance":"Es reduziert proprietäre Punkt-zu-Punkt-Integrationen und macht spezialisierte Dienste kombinierbar.","boundary":"MCP standardisiert den Transport und die Fähigkeitsoberfläche, nicht Wahrheit, Tool-Autorisierung oder Evidenz-Qualität.","keywords":["model context protocol","host client server","resources","tools","prompts"],"related":["tool-calling","function-calling","ai-agents"],"reference":"https://modelcontextprotocol.io/docs/learn/architecture"},{"id":"structured-outputs","number":25,"title":"Structured Outputs","category":"Agenten & Schnittstellen","summary":"Modellausgaben, die einem festen maschinenlesbaren Schema folgen.","definition":"Structured Outputs begrenzen die Ausgabe auf Felder, Typen und erlaubte Werte, meist über JSON Schema, Grammatik oder constrained decoding.","importance":"Sie machen Ausgaben validierbar und reduzieren Parsing-Mehrdeutigkeit.","boundary":"Strukturell gültig ist nicht semantisch korrekt; ein perfekt valides Objekt kann falsche Werte tragen.","keywords":["json","schema","grammar constrained","typed output"],"related":["function-calling","guardrails","llm-evaluation"]},{"id":"optimizer","number":26,"title":"Optimierer","category":"Training & Anpassung","summary":"Die Regel, die Gradienten beim Training in Parameteränderungen übersetzt.","definition":"Ein Optimierer nutzt Gradienten und eine Lernrate, um Modellparameter zu aktualisieren. Verfahren unterscheiden sich darin, wie sie frühere Gradienten einbeziehen, einzelne Schritte skalieren und Weight Decay anwenden.","importance":"Das beeinflusst Trainingsstabilität, Speicherbedarf und wie schnell ein nützlicher Loss erreicht wird.","boundary":"Ein Optimierer legt weder das Trainingsziel fest noch garantiert er Generalisierung. Diese App verwendet derzeit AdamW und bietet keine Optimierer-Auswahl.","keywords":["gradientenabstieg","lernrate","parameterupdate","optimizer state"],"related":["sgd","rmsprop","adam","adamw","fine-tuning"]},{"id":"sgd","number":27,"title":"SGD","category":"Training & Anpassung","summary":"Stochastischer Gradientenabstieg aktualisiert Gewichte anhand von Batch-Gradienten.","definition":"Einfaches SGD zieht von jedem Parameter den mit der Lernrate skalierten Gradienten ab. Momentum ist eine optionale Variante, die einen Teil früherer Updates weiterträgt.","importance":"Die einfache Regel macht den Einfluss der Lernrate und die Arbeit eines Optimierers gut nachvollziehbar.","boundary":"Einfaches SGD braucht wenig dauerhaften Zustand, aber oft sorgfältige Lernratenwahl. Es ist hier ein Vergleichsbegriff, keine auswählbare App-Option.","keywords":["stochastischer gradientenabstieg","momentum","lernrate","minibatch","optimierer"],"related":["optimizer","rmsprop","adam","adamw"],"reference":"https://docs.pytorch.org/docs/stable/generated/torch.optim.SGD.html"},{"id":"rmsprop","number":28,"title":"RMSprop","category":"Training & Anpassung","summary":"Ein adaptiver Schritt, skaliert durch einen laufenden Mittelwert quadrierter Gradienten.","definition":"RMSprop verfolgt pro Parameter die jüngsten quadrierten Gradienten und teilt den aktuellen Gradienten durch eine daraus geschätzte Wurzelskala mit kleinem Stabilisierungsterm.","importance":"Das zeigt, warum verschiedene Parameter unterschiedliche effektive Schrittweiten erhalten können.","boundary":"Adaptive Schritte garantieren keinen besseren Validierungs-Loss und verhindern kein Overfitting. RMSprop ist in dieser App nicht auswählbar.","keywords":["adaptive lernrate","quadrierter gradient","gleitender mittelwert","optimierer"],"related":["optimizer","sgd","adam","adamw"],"reference":"https://docs.pytorch.org/docs/stable/generated/torch.optim.RMSprop.html"},{"id":"adam","number":29,"title":"Adam","category":"Training & Anpassung","summary":"Adaptive Moment Estimation kombiniert Mittelwerte von Gradienten und deren Quadraten.","definition":"Adam hält pro Parameter einen ersten Moment der Gradienten und einen zweiten Moment der quadrierten Gradienten vor und skaliert damit die Updates.","importance":"Das erklärt den zusätzlichen Optimierer-Zustand im Speicherplan eines Trainingslaufs.","boundary":"Adam benötigt zusätzlichen Zustand und garantiert keine Generalisierung. Die App verwendet AdamW statt einer auswählbaren Adam-Option.","keywords":["adaptive moment estimation","erster moment","zweiter moment","optimizer state"],"related":["optimizer","rmsprop","adamw"],"reference":"https://docs.pytorch.org/docs/stable/generated/torch.optim.Adam.html"},{"id":"adamw","number":30,"title":"AdamW","category":"Training & Anpassung","summary":"Adam-artige Updates mit vom Gradientenschritt getrenntem Weight Decay.","definition":"AdamW behält Adams ersten und zweiten Moment bei, wendet Weight Decay aber getrennt vom adaptiven Gradientenupdate an. Diese App nutzt AdamW für Vortraining und Fine-Tuning.","importance":"Die Trennung macht die Rolle von Weight Decay klarer; die beiden Momentpuffer gehören weiterhin in den Speicherplan.","boundary":"Die App bietet keine Optimierer-Auswahl; auch AdamW und Weight Decay müssen validiert werden und garantieren keine besseren Ausgaben.","keywords":["decoupled weight decay","adam","optimizer state","vortraining","sft"],"related":["optimizer","adam","fine-tuning","sft"],"reference":"https://docs.pytorch.org/docs/stable/generated/torch.optim.AdamW.html"},{"id":"fine-tuning","number":31,"title":"Fine-Tuning","category":"Training & Anpassung","summary":"Weiteres Training eines vortrainierten Modells für eine Aufgabe oder Domäne.","definition":"Beim Fine-Tuning werden Modellparameter mit einem kleineren, zielgerichteten Datensatz aktualisiert. Das kann Verhalten, Format oder Fachleistung spezialisieren.","importance":"Es verlagert wiederkehrende Muster aus dem Prompt in die Gewichte.","boundary":"Fine-Tuning garantiert weder Generalisierung noch aktuelle Fakten und kann bestehende Fähigkeiten verschieben.","keywords":["supervised fine tuning","sft","training","weights"],"related":["sft","lora-qlora","peft","dpo","rlhf"]},{"id":"sft","number":32,"title":"SFT","category":"Training & Anpassung","summary":"Überwachtes Fine-Tuning auf vorgeführten Antworten des Assistenten.","definition":"SFT trainiert ein vortrainiertes Modell mit Beispielunterhaltungen weiter. In dieser App liefert das gesamte Gespräch Kontext, aber nur die Antwort-Tokens des Assistenten tragen zum Trainings-Loss bei.","importance":"Ein Basismodell lernt so, im gezeigten Format zu antworten, statt nur Rohtext fortzusetzen.","boundary":"SFT lernt aus seinen Beispielen; es beweist weder Faktentreue noch Präferenzanpassung oder Sicherheit. Diese App aktualisiert Modellgewichte und trainiert keine LoRA-Adapter.","keywords":["supervised fine tuning","instruction tuning","assistant loss mask","gesprächsbeispiele"],"related":["fine-tuning","dpo","peft","adamw"]},{"id":"lora-qlora","number":33,"title":"LoRA & QLoRA","category":"Training & Anpassung","summary":"Parameterarme Anpassung über niedrig-rangige Zusatzmatrizen.","definition":"LoRA friert die Basismatrix ein und trainiert kleine Low-Rank-Adapter. QLoRA kombiniert dieses Prinzip mit einem quantisierten Basismodell, um Speicherbedarf weiter zu senken.","importance":"Damit lassen sich große Modelle mit deutlich weniger trainierbaren Parametern anpassen.","boundary":"Weniger trainierbare Parameter bedeuten nicht automatisch weniger Datenbedarf, bessere Qualität oder einfachere Evaluation. LoRA und QLoRA bietet diese App nicht an; sie trainiert alle Gewichte ihrer eigenen GPT-Checkpoints.","keywords":["low rank","adapter","quantized training","qlora"],"related":["peft","fine-tuning","quantization"]},{"id":"peft","number":34,"title":"PEFT","category":"Training & Anpassung","summary":"Familie parameter-effizienter Fine-Tuning-Verfahren.","definition":"Parameter-Efficient Fine-Tuning verändert nur einen kleinen Teil zusätzlicher oder ausgewählter Parameter, etwa Adapter, Prefixe oder Low-Rank-Matrizen.","importance":"Es senkt Speicher- und Rechenkosten für viele spezialisierte Varianten.","boundary":"PEFT ist eine Trainingsmethode, keine Garantie für Isolation zwischen Rollen oder für sichere Adapter-Kombination. Diese App bietet kein PEFT-Verfahren an; Pretraining, SFT, DPO und ORPO aktualisieren alle Gewichte der in der App trainierten GPT-Checkpoints.","keywords":["parameter efficient","adapters","prefix tuning","lora"],"related":["lora-qlora","fine-tuning","model-compression"]},{"id":"rlhf","number":35,"title":"RLHF","category":"Training & Anpassung","summary":"Optimierung eines Modells mit aus menschlichen Präferenzen gelerntem Feedback.","definition":"Reinforcement Learning from Human Feedback nutzt menschliche Vergleiche, ein Präferenz- oder Reward-Modell und anschließende Optimierung, um Antworten an gewünschtes Verhalten anzupassen.","importance":"Es kann Hilfsbereitschaft, Stil und Sicherheitsverhalten verbessern.","boundary":"Präferenz ist nicht Wahrheit; Reward-Hacking und unklare Reviewer-Standards bleiben möglich. RLHF mit Reward-Modell ist in dieser App nicht implementiert; ihre DPO- und ORPO-Modi lernen stattdessen aus Offline-Präferenzpaaren.","keywords":["reward model","human feedback","preference","reinforcement learning"],"related":["dpo","fine-tuning","ai-safety","llm-evaluation"]},{"id":"dpo","number":36,"title":"DPO","category":"Training & Anpassung","summary":"Direkte Optimierung auf bevorzugte gegenüber abgelehnten Antworten.","definition":"Direct Preference Optimization trainiert ein Modell direkt aus Antwortpaaren, ohne eine separate klassische RL-Schleife mit eigenem Reward-Modell auszuführen.","importance":"Es vereinfacht Präferenzanpassung gegenüber vielen RLHF-Pipelines.","boundary":"Die Methode erbt Qualität, Bias und Ontologie der Präferenzdaten und beweist keine Faktentreue.","keywords":["direct preference optimization","chosen rejected","preference data"],"related":["sft","rlhf","fine-tuning","prompt-evaluation"]},{"id":"knowledge-distillation","number":37,"title":"Knowledge Distillation","category":"Training & Anpassung","summary":"Ein kleineres Modell lernt von Ausgaben oder Repräsentationen eines größeren Lehrers.","definition":"Distillation überträgt Verhalten eines Teacher-Modells auf einen kleineren Student, etwa über Soft Targets, Logits, Zwischenzustände oder erzeugte Trainingsbeispiele.","importance":"Sie kann kompakte Spezialisten erzeugen, die lokal und günstig laufen.","boundary":"Der Student übernimmt auch Fehler und blinde Flecken des Teachers; Teacher-Übereinstimmung ist kein unabhängiges Gold. Distillation ist in dieser App kein Trainingsmodus.","keywords":["teacher student","soft targets","logits","student model"],"related":["model-compression","fine-tuning","llm-evaluation"]},{"id":"quantization","number":38,"title":"Quantization","category":"Training & Anpassung","summary":"Gewichte oder Aktivierungen mit weniger Bits darstellen.","definition":"Quantization reduziert numerische Präzision, zum Beispiel von FP32 auf FP16, INT8 oder niedrigere Formate. Sie kann nach dem Training oder während quantisierungsbewusstem Training erfolgen.","importance":"Sie senkt Speicherbedarf und kann Inferenz beschleunigen.","boundary":"Rundungs- und Skalierungsfehler können seltene funktionale Ausfälle erzeugen, die ein Aggregat verdeckt.","keywords":["int8","int4","fp16","precision","rounding"],"related":["model-compression","llm-inference","lora-qlora"]},{"id":"model-compression","number":39,"title":"Model Compression","category":"Training & Anpassung","summary":"Methoden zur Verringerung von Modellgröße oder Rechenaufwand.","definition":"Model Compression umfasst Quantisierung, Pruning, Distillation, Faktorisierung und andere Verfahren, die ein Modell kleiner oder schneller machen.","importance":"Sie ermöglicht lokale Ausführung und geringere Betriebsressourcen.","boundary":"Kompression ist nur dann ein Erfolg, wenn relevante Qualitäts- und Sicherheitsachsen erhalten bleiben.","keywords":["pruning","distillation","quantization","size reduction"],"related":["quantization","knowledge-distillation","cost-optimization"]},{"id":"llm-inference","number":40,"title":"LLM Inference","category":"Inferenz & Betrieb","summary":"Die Ausführung eines trainierten Modells für neue Eingaben.","definition":"Inference umfasst Vorverarbeitung, Forward-Pässe, Decoding, Cache-Verwaltung und Ausgabeaufbereitung eines bereits trainierten Modells.","importance":"Hier entstehen reale Latenz, Speicherverbrauch, Parallelität und Runtime-Verhalten.","boundary":"Ein korrekt geladener Checkpoint und deterministisches Decoding beweisen keine sachliche Richtigkeit.","keywords":["forward pass","decode","runtime","generation"],"related":["forward-pass","sampling","kv-cache","speculative-decoding","llm-serving","quantization"]},{"id":"kv-cache","number":41,"title":"KV Cache","category":"Inferenz & Betrieb","summary":"Zwischenspeicher für Attention-Keys und -Values bereits verarbeiteter Tokens.","definition":"Beim autoregressiven Decoding speichert der KV Cache berechnete Key- und Value-Zustände, damit frühere Tokens nicht bei jedem neuen Token komplett neu verarbeitet werden.","importance":"Er beschleunigt Generierung stark, kann aber viel Speicher belegen.","boundary":"Der Cache speichert Keys und Values, keine Attention-Gewichte oder Ausgaben: Jede neue Query berechnet frische Gewichte über alle gespeicherten Keys. Bei Grouped-Query-Attention hält er einen Eintrag pro Key/Value-Head, nicht pro Query-Head. Decoding mit Cache und eine vollständige Neuberechnung des Kontexts sind auf dem Papier dieselbe Rechnung, aber nicht bitgleich; in bfloat16 können die Logits spürbar abweichen.","keywords":["key value cache","decode","memory","autoregressive"],"related":["llm-inference","context-windows","vllm"]},{"id":"speculative-decoding","number":42,"title":"Speculative Decoding","category":"Inferenz & Betrieb","summary":"Ein schneller Entwurf wird von einem Zielmodell gebündelt geprüft.","definition":"Beim Speculative Decoding erzeugt ein kleineres oder billigeres Verfahren mehrere Tokenvorschläge, die das Zielmodell in weniger Schritten akzeptiert oder verwirft.","importance":"Es kann Latenz senken, ohne die Zielverteilung absichtlich zu ändern.","boundary":"Die Methode beschleunigt Decoding, löst aber keine Evidenz-, Halluzinations- oder Autoritätsfrage.","keywords":["draft model","verification","decode acceleration","tokens"],"related":["llm-inference","llm-serving","vllm"]},{"id":"llm-serving","number":43,"title":"LLM Serving","category":"Inferenz & Betrieb","summary":"Modelle als robuste, planbare Runtime-Dienste bereitstellen.","definition":"LLM Serving umfasst Modellladung, Request-Queue, Batching, Parallelität, Timeouts, Streaming, Skalierung und Fehlerisolation.","importance":"Es entscheidet, ob ein Modell unter realer Last reproduzierbar und betreibbar ist.","boundary":"Hoher Durchsatz ist kein Qualitäts- oder Governance-Nachweis; Serving darf fachliche Gates nicht umgehen.","keywords":["deployment","batching","throughput","latency","runtime"],"related":["vllm","llm-inference","observability","production-genai"]},{"id":"vllm","number":44,"title":"vLLM","category":"Inferenz & Betrieb","summary":"Ein spezialisierter Open-Source-Serving-Stack für hohe LLM-Auslastung.","definition":"vLLM ist eine Inferenz- und Serving-Engine mit Speicherverwaltung für den KV Cache, kontinuierlichem Batching und weiteren optimierten Ausführungspfaden.","importance":"Es kann hohen Durchsatz für kompatible Modelle und Hardware bereitstellen.","boundary":"vLLM ist Infrastruktur: Es definiert weder Evidenz-Lineage noch Modellrolle, Tool-Autorität oder Claim-Validierung.","keywords":["pagedattention","continuous batching","serving engine","kv cache"],"related":["llm-serving","kv-cache","speculative-decoding"],"reference":"https://docs.vllm.ai/en/latest/"},{"id":"model-routing","number":45,"title":"Model Routing","category":"Inferenz & Betrieb","summary":"Eine Anfrage wird einem passenden Modell oder Pfad zugeordnet.","definition":"Model Routing wählt anhand von Aufgabe, Domäne, Risiko, Kosten oder Verfügbarkeit zwischen mehreren Modellen und Verarbeitungspfaden.","importance":"Es erlaubt Spezialisierung und verhindert, dass jede Anfrage den teuersten Monolithen nutzt.","boundary":"Ein falscher Router kann intern plausible Ergebnisse im falschen Scope erzeugen; unknown muss ein eigener Ausgang sein.","keywords":["router","scope selector","mixture of experts","fallback"],"related":["ai-agents","reranking","production-genai"]},{"id":"guardrails","number":46,"title":"Guardrails","category":"Qualität & Governance","summary":"Technische Grenzen für Eingaben, Ausgaben und Aktionen.","definition":"Guardrails prüfen oder begrenzen Formate, Inhalte, Werte, Berechtigungen und Aktionen vor, während oder nach einem Modellaufruf.","importance":"Sie reduzieren klar benannte Fehlerklassen und können fail-closed Verhalten erzwingen.","boundary":"Ein nachgeschalteter Filter kann fehlende Evidenz nicht nachträglich erfinden und darf nicht zum versteckten Entscheider werden.","keywords":["validation","policy","filter","fail closed"],"related":["ai-safety","structured-outputs","hallucination-detection","tool-calling"]},{"id":"ai-safety","number":47,"title":"AI Safety","category":"Qualität & Governance","summary":"Risiken von AI-Systemen erkennen, begrenzen und nachweisen.","definition":"AI Safety umfasst technische und organisatorische Methoden gegen Fehlverhalten, Missbrauch, Kontrollverlust, unerwünschte Nebenwirkungen und nicht tragfähige Entscheidungen.","importance":"Leistungsfähigkeit ohne begrenzte Folgen ist in realen Systemen kein ausreichendes Ziel.","boundary":"Safety ist keine einzelne Metrik und kein Prompt; sie hängt von Systemkontext, Rechten und Fehlerkosten ab.","keywords":["risk","alignment","control","misuse","robustness"],"related":["guardrails","observability","llm-evaluation","production-genai"]},{"id":"hallucination-detection","number":48,"title":"Hallucination Detection","category":"Qualität & Governance","summary":"Prüfen, ob eine generierte Aussage unbelegt oder widersprüchlich ist.","definition":"Hallucination Detection vergleicht Ausgaben mit Quellen, Regeln, anderen Modellen oder Konsistenzsignalen, um unbelegte Aussagen zu markieren.","importance":"Sie kann Fehler vor Auslieferung sichtbar machen.","boundary":"Ein Detektor ist selbst fehlerbehaftet; nachträgliche Erkennung ersetzt keine Architektur, die Claims an Evidenz bindet.","keywords":["factuality","unsupported claim","verification","grounding"],"related":["rag","guardrails","llm-evaluation","structured-outputs"]},{"id":"llm-evaluation","number":49,"title":"LLM Evaluation","category":"Qualität & Governance","summary":"Systematische Messung von Modellverhalten auf definierten Flächen.","definition":"LLM Evaluation kombiniert Datensätze, Metriken, Baselines, menschliche Urteile, Gegenfakten und Robustheitstests für klar abgegrenzte Fragen.","importance":"Nur eine gebundene Evaluation trennt Fortschritt von Eindruck, Promptglück oder Testanpassung.","boundary":"Eine Aggregatmetrik kann Funktionsausfälle, Seed-Tails, Coverage und Abstention verdecken.","keywords":["benchmark","metrics","gold","baseline","counterfactual"],"related":["prompt-evaluation","observability","ai-safety"]},{"id":"prompt-evaluation","number":50,"title":"Prompt Evaluation","category":"Qualität & Governance","summary":"Vergleich von Promptvarianten auf einer festen Aufgabe und Stichprobe.","definition":"Prompt Evaluation misst, wie sich Anweisungen, Beispiele und Formatvorgaben auf definierte Ausgaben auswirken.","importance":"Sie verhindert, dass einzelne attraktive Beispiele als allgemeine Verbesserung gelten.","boundary":"Promptqualität ist nur eine Komponente; Provider-, Modell-, Daten- und Decoderwechsel müssen getrennt werden.","keywords":["prompt testing","ab test","template","provider"],"related":["prompt-engineering","llm-evaluation","few-shot-learning"]},{"id":"observability","number":51,"title":"Observability","category":"Qualität & Governance","summary":"Aus Laufzeitdaten verstehen, was ein System getan hat und wo es scheiterte.","definition":"Observability verbindet strukturierte Logs, Traces, Metriken und Artefaktversionen über Komponenten und Requests hinweg.","importance":"Sie macht Fehler, Kosten, Latenz und Drift untersuchbar, ohne den Lauf nachträglich zu erraten.","boundary":"Ein Log zeigt ein Ereignis, aber nicht automatisch seine fachliche Rechtfertigung oder kausale Bedeutung.","keywords":["logs","traces","metrics","telemetry","lineage"],"related":["production-genai","llm-evaluation","ai-safety"]},{"id":"cost-optimization","number":52,"title":"AI Cost Optimization","category":"Qualität & Governance","summary":"Qualitätsgebundene Senkung von Rechen-, Speicher- und Betriebskosten.","definition":"Kostenoptimierung nutzt Routing, kleinere Modelle, Batching, Caching, Quantisierung, begrenzte Payloads und bessere Auslastung.","importance":"Sie entscheidet, ob ein System wirtschaftlich skalierbar ist.","boundary":"Eine kleinere oder billigere Ausgabe ist kein Erfolg, wenn Evidenz-Coverage, Tail-Sicherheit oder Taskqualität sinkt.","keywords":["latency","tokens","gpu utilization","payload","economics"],"related":["model-routing","quantization","model-compression","llm-serving"]},{"id":"multimodal-ai","number":53,"title":"Multimodal AI","category":"Modalität & Produktion","summary":"Gemeinsame Verarbeitung mehrerer Modalitäten wie Text, Bild und Audio.","definition":"Multimodale Systeme verbinden Repräsentationen und Aufgaben über Text, Bild, Audio, Video oder Sensordaten hinweg.","importance":"Viele reale Entscheidungen beruhen nicht auf Text allein.","boundary":"Jede Modalität hat eigene Messfehler, Zeitachsen und Provenienz; gemeinsames Encoding hebt diese Grenzen nicht auf.","keywords":["image","audio","video","sensor","modalities"],"related":["vision-language-models","production-genai","embeddings"]},{"id":"vision-language-models","number":54,"title":"Vision-Language Models","category":"Modalität & Produktion","summary":"Modelle für gemeinsame Bild- und Sprachaufgaben.","definition":"Vision-Language Models kodieren visuelle Eingaben und Sprache in einem gemeinsamen oder gekoppelten Modellraum, etwa für Beschreibung, visuelle Fragen oder Dokumentanalyse.","importance":"Sie erschließen Screenshots, Diagramme, Scans und reale Szenen für sprachliche Workflows.","boundary":"Eine Bildbeschreibung ist ein Wahrnehmungsvorschlag; sie ist nicht automatisch ein beweisbarer Source-Record.","keywords":["vlm","vision encoder","image understanding","ocr"],"related":["multimodal-ai","structured-outputs","hallucination-detection","visual-encoder","encoder-free-multimodal"]},{"id":"ai-coding-agents","number":55,"title":"AI Coding Agents","category":"Modalität & Produktion","summary":"Agenten, die Code lesen, ändern, testen und Entwicklungswerkzeuge bedienen.","definition":"Coding Agents verbinden Sprachmodelle mit Repository-Suche, Editoren, Shell, Build, Tests und Versionskontrolle.","importance":"Sie können mehrstufige Softwareaufgaben über reale Artefakte bearbeiten.","boundary":"Codegenerierung ist nicht Codekorrektheit; Rechte, Scope, Tests, Review und reversible Änderungen bleiben notwendig.","keywords":["coding assistant","repository","tests","developer tools"],"related":["ai-agents","tool-calling","mcp","production-genai"]},{"id":"production-genai","number":56,"title":"Production GenAI Systems","category":"Modalität & Produktion","summary":"Der gesamte betreibbare Dienst rund um Modelle, Daten, Tools und Governance.","definition":"Ein Production-GenAI-System umfasst nicht nur ein Modell, sondern Daten- und Modellversionen, APIs, Identitäten, Queues, Monitoring, Tests, Rollback, Kosten, Sicherheitsgrenzen und menschliche Prozesse.","importance":"Die meisten realen Fehler entstehen an Schnittstellen und Betriebszuständen, nicht nur im Forward-Pass.","boundary":"Eine Demo mit guten Antworten ist noch kein produktionsfähiges System.","keywords":["production","deployment","reliability","operations","governance"],"related":["observability","llm-serving","ai-safety","agentic-workflows"]},{"id":"json","number":57,"title":"JSON","category":"Grundlagen","summary":"Ein Textformat für strukturierte Werte wie Objekte und Arrays.","definition":"JSON beschreibt Objekte, Arrays, Zeichenketten, Zahlen, Wahrheitswerte und null mit einer kleinen, sprachunabhängigen Syntax.","importance":"Modellbeispiele, Konfigurationen und Tool-Antworten nutzen JSON, weil Software seine Struktur auslesen kann.","boundary":"Gültiges JSON beweist nicht, dass ein Datensatz die für eine Trainingsaufgabe nötigen Felder oder Inhalte hat.","keywords":["Objekt","Array","strukturierte Daten","Serialisierung"],"matchTerms":["json"],"related":["jsonl","structured-outputs","dataset"],"reference":"https://www.rfc-editor.org/rfc/rfc8259"},{"id":"jsonl","number":58,"title":"JSONL","category":"Grundlagen","summary":"Ein vollständiger JSON-Wert pro Zeile, oft ein Beispiel pro Zeile.","definition":"Eine JSON-Lines-Datei ist UTF-8-Text, in dem jede nichtleere Zeile für sich gültiges JSON ist. Die Endung .jsonl ist üblich.","importance":"Beispiele lassen sich einzeln lesen und prüfen, ohne ein großes JSON-Array vollständig zu laden.","boundary":"Eine syntaktisch gültige Zeile kann trotzdem das falsche Format für ein Trainingsbeispiel haben; Schema und Inhalt müssen geprüft werden.","keywords":["JSON Lines","zeilenweise JSON","Trainingsbeispiele"],"matchTerms":["JSON Lines","jsonl"],"related":["json","dataset","sft","dpo"],"reference":"https://jsonlines.org/"},{"id":"checkpoint","number":59,"title":"Checkpoint","category":"Training & Anpassung","summary":"Ein gespeicherter Modellzustand von einem bestimmten Punkt eines Laufs.","plain":"Eine gespeicherte Kopie des Modells zu einem Zeitpunkt im Training, wie ein Spielstand.","definition":"Ein Checkpoint hält Modellparameter und identifizierende Metadaten eines Trainings-Steps fest. In dieser App enthält ein fortsetzbarer Checkpoint zusätzlich die Optimierer-Momente, den Step, die Datenposition und den Zufallszustand (die Lernrate wird aus dem Step neu berechnet); reine Gewichts-Checkpoints vom Typ 'best' sind nutzbar, aber nicht fortsetzbar.","importance":"Frühere Modellstände lassen sich prüfen und vergleichen, statt nur den letzten Step zu betrachten.","boundary":"Ein Checkpoint belegt keine Modellqualität und ist nicht zwingend ein eigenständig nutzbares Inferenzpaket.","keywords":["Gewichte","Trainings-Step","Training fortsetzen","Modellzustand"],"matchTerms":["Checkpoints","Speicherstand","Speicherstände"],"related":["training","dataset","validation-loss","llm-inference"],"reference":"https://docs.pytorch.org/tutorials/beginner/saving_loading_models"},{"id":"dataset","number":60,"title":"Datensatz","category":"Training & Anpassung","summary":"Eine Sammlung von Beispielen für Training oder Auswertung.","definition":"Ein Datensatz wählt und ordnet Beispiele und ihre erwarteten Ziele; häufig trennt er Trainings- und Validierungsanteile.","importance":"Herkunft, Abdeckung und Aufteilung bestimmen mit, was das Modell lernen kann und was ein gemessener Loss aussagt.","boundary":"Auch ein großer oder sauber formatierter Datensatz ist nicht automatisch repräsentativ oder frei von Überschneidungen zwischen den Anteilen.","keywords":["Trainingsdaten","Validierungsanteil","Beispiele","Korpus"],"matchTerms":["Datensätze","Dataset","Datasets"],"related":["jsonl","tokenization","training","validation-loss"]},{"id":"gpt-2","number":61,"title":"GPT-2","category":"Grundlagen","summary":"Ein OpenAI-Sprachmodell mit einem vielfach verwendeten Byte-Level-BPE-Tokenizer.","definition":"GPT-2 ist ein 2019 vorgestelltes Transformer-Sprachmodell. Sein veröffentlichter Tokenizer bildet UTF-8-Bytes auf Symbole ab und verwendet gelernte Byte-Pair-Merges.","importance":"Sein veröffentlichtes Vokabular bietet in dieser App einen festen Vergleichspunkt zu selbst trainierten Tokenizern.","boundary":"Die Wahl des GPT-2-Tokenizers macht ein anderes Modell nicht zu GPT-2 und überträgt keine gelernten GPT-2-Gewichte.","keywords":["gpt2","openai","veröffentlichtes Vokabular","byte-level bpe"],"matchTerms":["GPT2"],"related":["byte-level","tokenization","transformers"],"reference":"https://openai.com/index/better-language-models/"},{"id":"training","number":62,"title":"Training","category":"Training & Anpassung","summary":"Modellparameter wiederholt anhand von Beispielen und einem Loss-Signal anpassen.","definition":"In jedem Trainings-Step sagt das Modell etwas voraus, ein Loss misst den Fehler, Gradienten werden berechnet und ein Optimierer aktualisiert Parameter.","importance":"Steps und Loss zu beobachten verbindet das Modellverhalten mit den Daten und dem Lernziel.","boundary":"Sinkender Trainings-Loss garantiert keine besseren Ergebnisse auf unbekannten Beispielen oder nützliche Antworten.","keywords":["Gradient","Optimierer","Trainingslauf","Parameteränderung"],"matchTerms":["Trainingslauf","Trainingsläufe","Anlernen"],"related":["dataset","loss","validation-loss","optimizer","checkpoint"],"reference":"https://docs.pytorch.org/tutorials/beginner/basics/optimization_tutorial"},{"id":"byte-level","number":63,"title":"Byte-Level","category":"Grundlagen","summary":"Eine Tokenizer-Darstellung, die von Bytes statt einer festen Zeichenliste ausgeht.","definition":"Byte-Level-Tokenisierung beginnt mit den Bytes des codierten Textes; Byte-Level-BPE kann häufige Byte-Folgen zu größeren Tokens zusammenführen.","importance":"Mit Bytes als Basis lässt sich Text außerhalb eines kleinen Zeichenvokabulars ohne Unbekannt-Zeichen-Token darstellen.","boundary":"Byte-Level-BPE bedeutet nicht, dass jeder fertige Token genau einem Byte oder sichtbaren Zeichen entspricht.","keywords":["utf-8","Bytes","Byte-Pair-Encoding","BPE"],"matchTerms":["Byte-Ebene","Byte-Level-BPE"],"related":["gpt-2","tokenization"],"reference":"https://cdn.openai.com/better-language-models/language-models.pdf"},{"id":"loss","number":64,"title":"Loss","category":"Training & Anpassung","summary":"Eine Zahl für den Fehler unter einem gewählten Lernziel.","definition":"Eine Loss-Funktion vergleicht Vorhersagen mit Zielwerten. Beim Training leiten ihre Gradienten Parameteränderungen an; für Next-Token-Modelle wird häufig Cross-Entropy-Loss verwendet.","importance":"Der Loss-Verlauf zeigt, ob das Modell die gestellte Aufgabe zunehmend besser erfüllt.","boundary":"Niedrigerer Trainings-Loss misst nicht unmittelbar Wahrheit, Nützlichkeit oder Leistung auf neuen Daten.","keywords":["Cross-Entropy","Lernziel","Fehler","Trainingskurve"],"matchTerms":["Losses","Verlust","Verluste","Trainings-Loss"],"related":["training","validation-loss","optimizer"],"reference":"https://docs.pytorch.org/tutorials/beginner/basics/optimization_tutorial"},{"id":"validation-loss","number":65,"title":"Validierungs-Loss","category":"Training & Anpassung","summary":"Loss auf zurückgehaltenen Beispielen, ohne die Modellgewichte zu ändern.","definition":"Validierungs-Loss verwendet das Lernziel auf einem separaten Validierungsanteil und lässt die Parameter unverändert. Er hilft beim Vergleich von Checkpoints und zeigt Abstände zum Trainings-Loss.","importance":"Er liefert eine begrenzte Prüfung der Verallgemeinerung über die zum Lernen genutzten Beispiele hinaus.","boundary":"Wiederholte Entscheidungen anhand desselben Validierungsanteils können auch diesen Anteil überanpassen; ein niedriger Wert garantiert keine guten Antworten. Werte sind nur zwischen Läufen vergleichbar, die denselben Tokenizer und denselben Validierungsanteil nutzen.","keywords":["Val-Loss","zurückgehaltene Daten","Verallgemeinerung","Überanpassung"],"matchTerms":["Validation-Loss","Validation Loss","Validierungsverluste","Validierungsverlust","Val-Loss"],"related":["loss","training","dataset","checkpoint"],"reference":"https://docs.pytorch.org/tutorials/beginner/introyt/trainingyt"},{"id":"forward-pass","number":66,"title":"Forward Pass (Durchlauf)","category":"Grundlagen","summary":"Ein Rechendurchlauf des Modells von den Eingabe-Tokens bis zu den Scores für das nächste Token.","plain":"Ein ganzer Lauf durch das Modell: Text geht hinein, ein Tipp für das nächste Wort kommt heraus.","definition":"Im Forward Pass laufen die Token-IDs des Kontexts durch das Embedding und danach der Reihe nach durch alle Transformer-Blöcke. Beim Generieren liest der Ausgabekopf die letzte Position und bewertet jedes Token im Vokabular; jedes neue Token braucht einen weiteren Durchlauf. Mit KV Cache verarbeiten spätere Durchläufe nur das neueste Token und lesen frühere Keys und Values aus dem Cache.","importance":"Er ist die Arbeitseinheit hinter jedem vorhergesagten Token. Der Brain Explorer zeigt einen Durchlauf als Token-Spuren durch die Blöcke.","boundary":"Ein Durchlauf berechnet Scores, wählt aber kein Token aus; das übernimmt danach das Sampling. Bei der Inferenz ändern sich keine Gewichte.","keywords":["Inferenz","Vorwärtsdurchlauf","nächstes Token","Token-Spuren"],"matchTerms":["Forward Pass","Forward-Pass","Forward-Pässe","Vorwärtsdurchlauf"],"related":["llm-inference","transformer-block","output-head","sampling"]},{"id":"transformer-block","number":67,"title":"Transformer-Block","category":"Grundlagen","summary":"Eine wiederholte Schicht eines Transformers: Attention, dann ein MLP, beide zum Residualstrom addiert.","plain":"Ein Stockwerk des Modells. Der Text läuft nacheinander durch viele solche Stockwerke.","definition":"Ein Block normalisiert seine Eingabe, lässt seine Attention-Heads aus anderen Positionen lesen und addiert ihr Ergebnis zum Residualstrom. Danach normalisiert er erneut, wendet an jeder Position das MLP an und addiert auch dieses Ergebnis. Ein Modell stapelt viele Blöcke mit gleichem Aufbau, aber eigenen Gewichten, und führt sie nacheinander aus.","importance":"Die Blöcke geben dem Modell seine Tiefe: Jeder kann den Zustand verfeinern, den alle späteren Blöcke lesen.","boundary":"Ein Block ist kein Head: Die Heads der Multi-Head Attention arbeiten innerhalb eines Blocks nebeneinander, Blöcke dagegen nacheinander. Die Anzahl der Blöcke allein sagt nichts über die Qualität aus.","keywords":["Schicht","Layer","Decoder-Block","n_layer","Tiefe"],"matchTerms":["Transformer-Blöcke","Transformer-Blöcken","Transformerblock","Transformerblöcke","Transformer-Schicht"],"related":["transformers","attention-head","multi-head-attention","mlp","residual-stream","layer-norm"],"reference":"https://arxiv.org/abs/1706.03762"},{"id":"attention-head","number":68,"title":"Attention-Head","category":"Grundlagen","summary":"Eine von mehreren Attention-Berechnungen, die innerhalb eines Transformer-Blocks nebeneinander laufen.","plain":"Einer von mehreren Lesern in einem Block; jeder kann auf eine andere Art von Zusammenhang achten.","definition":"Jeder Head hat eine eigene Query-Projektion auf einen Ausschnitt der Vektorbreite (head_dim Dimensionen). In klassischer Multi-Head-Attention (GPT-2, eigene Checkpoints) hat jeder Head auch eigene Key- und Value-Projektionen. Bei Grouped-Query-Attention (Llama, Qwen2) gibt es weniger Key/Value-Heads als Query-Heads: Mehrere Query-Heads teilen sich einen Key und einen Value. Jeder Query-Head berechnet trotzdem eigene Attention-Gewichte, sodass Heads dieselben Positionen unterschiedlich gewichten können; ihre Ausgaben werden zusammengefügt und in den Residualstrom zurückprojiziert.","importance":"Heads lassen einen Block mehreren Beziehungen gleichzeitig folgen. Der Brain Explorer zeigt die Gewichte eines aufgezeichneten Heads; bei einer externen Aufzeichnung vergleicht der Head Finder alle Heads einer aufgezeichneten Runde.","boundary":"Heads sind keine Blöcke: Alle Heads eines Blocks arbeiten parallel, Blöcke nacheinander. Die Gewichte eines Heads zeigen nur einen Teil dessen, was die gesamte Attention-Schicht addiert.","keywords":["Head","n_head","Multi-Head","Query Key Value","head_dim"],"matchTerms":["Aufmerksamkeitskopf","Aufmerksamkeitsköpfe"],"related":["multi-head-attention","attention","transformer-block","causal-mask"],"reference":"https://arxiv.org/abs/1706.03762"},{"id":"causal-mask","number":69,"title":"Kausale Maske","category":"Grundlagen","summary":"Die Regel, dass eine Position nur auf sich selbst und auf frühere Positionen achten darf.","plain":"Die Regel, dass ein Wort nur zurückschauen darf, nie nach vorn auf spätere Wörter.","definition":"Bevor Softmax angewendet wird, werden die Attention-Scores späterer Positionen auf minus unendlich gesetzt, sodass ihre Gewichte genau null werden. In einer Attention-Matrix bleibt dadurch der Bereich oberhalb der Diagonale leer.","importance":"So kann ein Modell die Vorhersage des nächsten Tokens an allen Positionen gleichzeitig lernen, ohne die Tokens zu sehen, die es vorhersagen soll.","boundary":"Eine maskierte Zelle ist kein gelerntes Gewicht von null; die Position ist überhaupt nicht erreichbar. Die Maske sagt nichts darüber, welche früheren Positionen wichtig sind.","keywords":["Maske","autoregressiv","Dreiecksmatrix","zukünftige Tokens","Attention-Matrix"],"matchTerms":["Causal Mask","kausale Maskierung","Kausalmaske"],"related":["attention","attention-head","softmax","positional-encoding"],"reference":"https://arxiv.org/abs/1706.03762"},{"id":"mlp","number":70,"title":"MLP (Feed-Forward)","category":"Grundlagen","summary":"Der Teil eines Transformer-Blocks, der jede Position für sich verarbeitet.","plain":"Der Teil eines Blocks, in dem jedes Wort für sich bearbeitet wird, ohne auf die anderen zu schauen.","definition":"Das MLP verbreitert den Vektor einer Position, wendet eine nichtlineare Funktion an und projiziert ihn auf die ursprüngliche Breite zurück; das Ergebnis wird zum Residualstrom addiert. In den GPT-2-artigen Modellen, die diese App trainiert, verbreitert es um den Faktor vier und nutzt GELU. Llama und Qwen2 nutzen ein gated MLP (SwiGLU): Zwei parallele Up-Projektionen, von denen eine durch SiLU läuft, werden elementweise multipliziert und dann herunterprojiziert; die verbreiterte Größe ist intermediate_size.","importance":"Attention bewegt Information zwischen Positionen; das MLP verarbeitet sie innerhalb jeder Position und enthält einen großen Teil der Parameter.","boundary":"Das MLP liest nicht aus anderen Positionen. Innerhalb eines Blocks nutzen alle Positionen dieselben MLP-Gewichte.","keywords":["Feed Forward","Multilayer Perceptron","GELU","verborgene Schicht","positionsweise"],"matchTerms":["MLP","Feed-Forward","Feed-Forward-Netz","Feed-Forward-Netzwerk","Feed-Forward-Schicht"],"related":["transformer-block","residual-stream","attention","transformers"],"reference":"https://arxiv.org/abs/1706.03762"},{"id":"residual-stream","number":71,"title":"Residualstrom","category":"Grundlagen","summary":"Der laufende Vektor jeder Position, aus dem jeder Block liest und zu dem er addiert.","plain":"Eine laufende Notiz zu jedem Wort, die jeder Block liest und um sein Ergebnis ergänzt.","definition":"In GPT-2-artigen Modellen beginnt jede Position mit ihrem Token-Embedding plus Positions-Embedding. Attention und MLP berechnen Beiträge, die zu diesem Vektor addiert werden, statt ihn zu ersetzen (Residualverbindungen). So trägt der Strom Information durch alle Blöcke bis zur finalen Normalisierung (LayerNorm, bei Llama/Qwen2 RMSNorm).","importance":"Die Additionen machen tiefe Modelle trainierbar. Deshalb zeichnet der Brain Explorer eine graue Linie mit Plus-Knoten durch alle Blöcke.","boundary":"Der Strom ist ein Vektor mit vielen Dimensionen; die wenigen Komponenten einer Visualisierung sind nur ein Ausschnitt, und eine einzelne Zahl hat selten eine feste Bedeutung.","keywords":["Residualverbindung","Skip Connection","Hidden State","Addition"],"matchTerms":["Residual Stream","Residualströme","Residualverbindung","Residualverbindungen","Residuum"],"related":["transformer-block","mlp","attention","layer-norm","embeddings"],"reference":"https://arxiv.org/abs/1512.03385"},{"id":"layer-norm","number":72,"title":"LayerNorm","category":"Grundlagen","summary":"Bringt den Vektor einer Position vor der nächsten Rechnung auf einheitlichen Mittelwert und Streuung.","plain":"Bringt die Zahlen eines Worts wieder auf eine gemeinsame Größe, damit der nächste Schritt gut damit arbeitet.","definition":"Die Layer-Normalisierung zieht den Mittelwert der Komponenten eines Vektors ab, teilt durch ihre Standardabweichung und wendet danach eine gelernte Skalierung und Verschiebung an. Pre-Norm-Blöcke nutzen sie vor Attention und vor dem MLP; eine finale LayerNorm bereitet den letzten Zustand für den Ausgabekopf vor. Llama und Qwen2 nutzen an denselben Stellen RMSNorm, das nur durch den quadratischen Mittelwert teilt und eine gelernte Skalierung anwendet, ohne Mittelwertabzug und ohne Verschiebung.","importance":"Stabile Wertebereiche machen das Training verlässlich, auch wenn der Residualstrom von Block zu Block wächst.","boundary":"LayerNorm arbeitet innerhalb des Vektors einer einzelnen Position und mischt keine Positionen. Wegen der gelernten Skalierung und Verschiebung hat die Ausgabe nicht immer genau Mittelwert 0 und Varianz 1.","keywords":["Normalisierung","ln_f","Pre-Norm","Mittelwert","Varianz"],"matchTerms":["Layer Norm","Layer-Normalisierung","Schichtnormalisierung"],"related":["transformer-block","residual-stream","output-head"],"reference":"https://arxiv.org/abs/1607.06450"},{"id":"output-head","number":73,"title":"Ausgabekopf (Output Head)","category":"Grundlagen","summary":"Die letzte Projektion, die aus dem letzten Zustand einen Score pro Token des Vokabulars macht.","plain":"Der letzte Schritt: Er gibt jedem möglichen nächsten Wort eine Punktzahl.","definition":"Nach der finalen Normalisierung (LayerNorm, bei Llama/Qwen2 RMSNorm) multipliziert der Ausgabekopf den Zustand einer Position mit einer Matrix, die eine Zeile pro Vokabular-Token hat; beim Generieren wird nur die letzte Position gelesen. Das Ergebnis sind die Logits. Viele GPT-artige Modelle koppeln diese Matrix an das Token-Embedding; diese App bietet das als Modelloption an.","importance":"Hier wird aus dem internen Vektor des Modells eine Vorhersage über konkrete Tokens.","boundary":"Trotz des Namens ist der Ausgabekopf kein Attention-Head. Er bewertet Tokens, wählt aber keines aus; das übernimmt das Sampling.","keywords":["LM Head","Unembedding","Vokabular","Weight Tying","Projektion"],"matchTerms":["Ausgabekopf","Output Head","LM-Head"],"related":["logits","softmax","layer-norm","embeddings","attention-head"]},{"id":"logits","number":74,"title":"Logits","category":"Grundlagen","summary":"Rohe, nicht normierte Scores für jedes mögliche nächste Token.","plain":"Die rohen Punktzahlen für jedes mögliche nächste Wort, bevor daraus Chancen werden.","definition":"Der Ausgabekopf erzeugt eine reelle Zahl pro Vokabular-Token. Höher heißt wahrscheinlicher, aber die Werte können negativ sein und ergeben keine feste Summe; Softmax macht daraus Wahrscheinlichkeiten.","importance":"Temperatur und Filter wirken auf die Logits; sie sind der Ausgangspunkt jeder Sampling-Entscheidung.","boundary":"Ein Logit ist keine Wahrscheinlichkeit, und Unterschiede zwischen Logits zählen mehr als ihre absoluten Werte.","keywords":["Score","nicht normiert","Vokabular","Ausgabekopf"],"related":["output-head","softmax","temperature","sampling"]},{"id":"softmax","number":75,"title":"Softmax","category":"Grundlagen","summary":"Wandelt eine Liste von Scores in Wahrscheinlichkeiten um, die positiv sind und zusammen eins ergeben.","plain":"Macht aus den Punktzahlen Chancen zwischen 0 und 100 %, die zusammen genau 100 % ergeben.","definition":"Softmax wendet auf jeden Score die Exponentialfunktion an und teilt durch die Summe aller Exponentialwerte. Größere Scores erhalten größere Anteile; addiert man zu allen Scores dieselbe Konstante, ändert sich nichts. Transformer nutzen Softmax für Attention-Gewichte und für die Wahrscheinlichkeiten des nächsten Tokens.","importance":"Softmax macht Scores als Anteile vergleichbar; genau das zeigen Wahrscheinlichkeitsbalken und Attention-Bögen.","boundary":"Softmax-Wahrscheinlichkeiten beschreiben die Verteilung des Modells, nicht die Wahrscheinlichkeit, dass eine Aussage stimmt.","keywords":["Wahrscheinlichkeit","Normierung","Exponentialfunktion","Verteilung"],"related":["logits","attention","temperature","causal-mask"],"reference":"https://docs.pytorch.org/docs/stable/generated/torch.nn.functional.softmax.html"},{"id":"sampling","number":76,"title":"Sampling","category":"Inferenz & Betrieb","summary":"Die Auswahl des nächsten Tokens aus der Wahrscheinlichkeitsverteilung des Modells.","plain":"Das nächste Wort wird ausgelost; wahrscheinliche Wörter kommen dabei öfter dran.","definition":"Nach Temperatur und optionalen Filtern wie Top-k und Top-p wird das nächste Token zufällig gezogen, im Verhältnis zu den verbleibenden Wahrscheinlichkeiten. Greedy-Decoding nimmt stattdessen immer das wahrscheinlichste Token; das entspricht Temperatur 0.","importance":"Dasselbe Modell kann mit derselben Eingabe verschiedene Fortsetzungen erzeugen; die Sampling-Einstellungen steuern, wie vielfältig und wie riskant sie sind.","boundary":"Sampling ändert weder das Gelernte noch die Scores des Modells. Ein gezogenes Token ist nicht automatisch das beste oder ein richtiges.","keywords":["Decoding","Greedy","Zufall","nächstes Token","Verteilung"],"matchTerms":["Greedy-Decoding"],"related":["temperature","top-k","top-p","seed","softmax","logits"]},{"id":"temperature","number":77,"title":"Temperatur","category":"Inferenz & Betrieb","summary":"Teilt die Logits vor dem Sampling: Unter 1 wird die Verteilung spitzer, über 1 flacher.","plain":"Wie mutig die Wahl ist: niedrig heißt sicher und vorhersehbar, hoch heißt überraschender.","definition":"Die Logits werden durch die Temperatur geteilt, bevor Softmax angewendet wird. Unter 1 wird die Verteilung spitzer, wahrscheinliche Tokens werden noch wahrscheinlicher; über 1 wird sie flacher, unwahrscheinliche Tokens gewinnen Wahrscheinlichkeit; Temperatur 0 nimmt immer das wahrscheinlichste Token.","importance":"Sie ist der wichtigste Regler zwischen vorhersehbarem und abwechslungsreichem Text.","boundary":"Die Temperatur ändert die Auswahlverteilung, nicht die Scores oder das Wissen des Modells.","keywords":["Sampling-Temperatur","Kreativität","Greedy","Verteilung"],"related":["sampling","logits","softmax","top-k","top-p"]},{"id":"top-k","number":78,"title":"Top-k","category":"Inferenz & Betrieb","summary":"Ein Sampling-Filter, der nur die k wahrscheinlichsten Tokens behält.","plain":"Nur die k wahrscheinlichsten nächsten Wörter bleiben in der Verlosung, alle anderen fallen weg.","definition":"Alle Tokens außerhalb der k höchsten Scores werden vor dem Ziehen entfernt, die übrigen Wahrscheinlichkeiten neu normiert. In dieser App schaltet k = 0 den Filter aus; er wird vor Top-p angewendet.","importance":"Er schneidet den langen Schwanz unwahrscheinlicher Tokens ab, die eine Fortsetzung entgleisen lassen können.","boundary":"Ein festes k ignoriert, wie die Wahrscheinlichkeit verteilt ist: Mal sind k Tokens zu viele, mal zu wenige.","keywords":["Filter","Kandidaten","Abschneiden","top k"],"matchTerms":["Top-k-Sampling"],"related":["top-p","sampling","temperature"]},{"id":"top-p","number":79,"title":"Top-p","category":"Inferenz & Betrieb","summary":"Ein Sampling-Filter, der die kleinste Tokenmenge behält, die zusammen die Wahrscheinlichkeit p erreicht.","plain":"Nur die wahrscheinlichsten Wörter bleiben in der Verlosung, bis sie zusammen die Chance p erreichen.","definition":"Die Tokens werden nach Wahrscheinlichkeit sortiert und behalten, bis ihre kumulierte Wahrscheinlichkeit p erreicht; die übrigen werden vor dem Ziehen entfernt. Das wahrscheinlichste Token bleibt immer erhalten, und p = 1 behält alle Tokens.","importance":"Anders als Top-k passt er sich der Verteilung an: wenige Kandidaten, wenn das Modell sicher ist, mehr, wenn es unsicher ist.","boundary":"Top-p begrenzt die Wahrscheinlichkeitsmasse, aus der gezogen wird, nicht die Qualität der Fortsetzung.","keywords":["Nucleus","kumulierte Wahrscheinlichkeit","Filter","top p"],"matchTerms":["Nucleus-Sampling","Top-p-Sampling"],"related":["top-k","sampling","temperature","softmax"],"reference":"https://arxiv.org/abs/1904.09751"},{"id":"seed","number":80,"title":"Seed","category":"Inferenz & Betrieb","summary":"Der Startwert eines Pseudozufallsgenerators.","plain":"Die Startzahl für die Zufallsauswahl. Derselbe Seed ergibt wieder dieselbe Auswahl.","definition":"Derselbe Seed wiederholt mit demselben Code, Modell, denselben Einstellungen und derselben Hardware dieselben Zufallsentscheidungen, etwa die beim Sampling gezogenen Tokens oder die Reihenfolge der Beispiele im Training.","importance":"Er macht Experimente wiederholbar und vergleichbar.","boundary":"Ein Seed macht kein Ergebnis richtig, und gleiche Seeds mit anderen Eingaben oder Einstellungen führen zu anderen Ziehungen. Manche GPU-Operationen sind selbst mit festem Seed nicht vollständig deterministisch.","keywords":["Zufall","Reproduzierbarkeit","deterministisch","Generator"],"matchTerms":["Zufalls-Seed","Random Seed"],"related":["sampling","temperature","training"],"reference":"https://docs.pytorch.org/docs/stable/notes/randomness.html"},{"id":"context","number":81,"title":"Kontext","category":"Grundlagen","summary":"Die Tokens, die ein Modell in einem Durchlauf wirklich verarbeitet: Eingabe plus bisher Erzeugtes.","plain":"Alles, was das Modell gerade sieht: deine Eingabe plus die Wörter, die es schon geschrieben hat.","definition":"Beim Generieren wächst der Kontext um ein Token pro Runde: erst die Eingabe-Tokens, dann die in früheren Runden gewählten Tokens. Er wächst bis zum Context Window; darüber hinaus behalten die eigenen Modelle der App nur die letzten block_size Tokens, und Modelle mit KV Cache berechnen nur das neue Token und nutzen für den Rest die gespeicherten Keys und Values.","importance":"Das nächste Token hängt nur vom Kontext ab: Ändert sich ein Token darin, kann sich jede spätere Spur ändern.","boundary":"Der Kontext ist nicht das Context Window. Ein längerer Kontext wird nicht automatisch besser genutzt, und Text jenseits des Context Windows erreicht das Modell nie.","keywords":["Prompt","Eingabe","Folge","bisherige Tokens"],"matchTerms":["Kontextes"],"related":["context-windows","tokenization","forward-pass","kv-cache"]},{"id":"token-embedding","number":82,"title":"Token-Embedding","category":"Grundlagen","summary":"Der gelernte Vektor, den ein Sprachmodell vor dem ersten Block für jede Token-ID nachschlägt.","plain":"Jedes Token wird gegen eine lange Zahlenliste getauscht, die das Modell dafür gelernt hat.","definition":"Die Embedding-Tabelle hat für jedes Vokabular-Token eine Zeile mit n_embd Zahlen. Jede Token-ID im Kontext wählt ihre Zeile; in GPT-2-artigen Modellen wird der Vektor ihrer Position addiert, und die Summe geht in den ersten Block.","importance":"Es macht aus diskreten IDs Zahlen, mit denen die Blöcke rechnen können; ähnlich verwendete Tokens können ähnliche Vektoren bekommen.","boundary":"Der Vektor ist gelernt und hat keine feste Wörterbuchbedeutung; für sich weiß er nichts über die Position oder die Nachbarn des Tokens.","keywords":["wte","Embedding-Tabelle","Nachschlagen","Token-Vektor"],"matchTerms":["Token-Embeddings","Embedding-Tabelle"],"related":["embeddings","tokenization","positional-encoding","residual-stream"]},{"id":"diffusion-model","reference":"https://arxiv.org/abs/2006.11239","number":83,"title":"Diffusionsmodell","category":"Modalität & Produktion","summary":"Ein Generator, der das Hinzufügen von Rauschen durch wiederholte Änderungen umzukehren lernt.","plain":"Ein Bildgenerator, der mit reinem Rauschen beginnt und es Schritt für Schritt aufräumt.","definition":"Das Vision-Lernmodell sagt hinzugefügtes Rauschen aus einem verrauschten Bild, einem Diffusions-Zeitschritt und einer Beschreibung vorher. Die Generierung startet mit Rauschen und verwendet die Vorhersagen für Scheduler-Aktualisierungen.","importance":"Erklärt die Zwischenzustände der gesamten Bildgenerierung.","boundary":"Eine Entrauschungsänderung verändert das Bild; eine Trainingsänderung verändert die Gewichte.","keywords":["Diffusionsmodell","Diffusionsmodelle","DDPM"],"matchTerms":["Diffusionsmodell","Diffusionsmodelle","DDPM"],"related":["noise-prediction","noise-schedule","latent-diffusion"]},{"id":"diffusion-timestep","reference":"https://arxiv.org/abs/2006.11239","number":84,"title":"Diffusions-Zeitschritt","category":"Modalität & Produktion","summary":"Ein Index für die Rauschstufe, die das Entrauschungsmodell verarbeitet.","plain":"Eine Zahl, die dem Modell sagt, wie verrauscht das Bild in diesem Schritt noch ist.","definition":"Das kleine Vision-Modell erhält neben dem verrauschten Bild einen Zeitschritt. Trainingsbeispiele können verschiedene Stufen verwenden; die Generierung durchläuft den Diffusionsplan.","importance":"Unterscheidet Rauschstufe und Anzahl der Optimierer-Aktualisierungen.","boundary":"Ein Zeitschritt ist weder verstrichene Zeit noch der Step-Zähler.","keywords":["Diffusions-Zeitschritt","Diffusions-Zeitschritte"],"matchTerms":["Diffusions-Zeitschritt","Diffusions-Zeitschritte"],"related":["noise-schedule","diffusion-model"]},{"id":"noise-schedule","reference":"https://arxiv.org/abs/2006.11239","number":85,"title":"Rauschplan","category":"Modalität & Produktion","summary":"Die Folge von Rauschstärken eines Diffusionsprozesses.","plain":"Der Plan, wie viel Rauschen in jedem Schritt im Bild steckt.","definition":"Das Vision-Lernmodell speichert Rauschkoeffizienten für seine Diffusionsstufen. Beim Training mischen sie Bild und Rauschen; die Generierung verwendet die zugehörige Rückwärtsaktualisierung.","importance":"Verbindet einen Zeitschritt mit der Rauschstärke der Eingabe.","boundary":"Ein Rauschplan ist kein Lernratenplan; dieser steuert Gewichtsänderungen.","keywords":["Rauschplan","Rauschpläne","Rauschzeitplan"],"matchTerms":["Rauschplan","Rauschpläne","Rauschzeitplan"],"related":["diffusion-timestep","noise-prediction"]},{"id":"image-caption","number":86,"title":"Bildbeschreibung","category":"Modalität & Produktion","summary":"Ein Text, der mit einem Bild zur Modellkonditionierung verbunden wird.","definition":"Vision ordnet jedem Trainingsbild eine Beschreibung seines sichtbaren Inhalts zu. Das kleine Modell mittelt gelernte UTF-8-Byte-Embeddings zur Konditionierung der Rauschvorhersage.","importance":"Einheitliche Beschreibungen verbinden sichtbare Unterschiede mit Text.","boundary":"Der kleine Byte-Encoder unterscheidet sich vom Textencoder des vortrainierten Starters.","keywords":["Bildbeschreibung","Bildbeschreibungen","Caption","Captions"],"matchTerms":["Bildbeschreibung","Bildbeschreibungen","Caption","Captions"],"related":["dataset","tokenization","diffusion-model"]},{"id":"noise-prediction","reference":"https://arxiv.org/abs/2006.11239","number":87,"title":"Rauschvorhersage","category":"Modalität & Produktion","summary":"Das Schätzen der Rauschkomponente eines verrauschten Bilds oder latenten Zustands.","plain":"Der Tipp des Modells, welcher Teil des Bilds nur Rauschen ist.","definition":"Der kleine Vision-Trainer fügt einem Bild Zufallsrauschen hinzu. Das Modell sagt es aus Bild, Beschreibung und Zeitschritt vorher; MSE vergleicht Vorhersage und bekanntes Rauschen.","importance":"Das Trainingsziel ist bekannt, weil der Code es erzeugt.","boundary":"Die Vorhersage ist Rauschen, kein fertiges Bild und keine Objektklasse.","keywords":["Rauschvorhersage","Rauschvorhersagen","vorhergesagtes Rauschen","Zielrauschen"],"matchTerms":["Rauschvorhersage","Rauschvorhersagen","vorhergesagtes Rauschen","Zielrauschen"],"related":["diffusion-model","mse","diffusion-timestep"]},{"id":"mse","reference":"https://huggingface.co/docs/diffusers/tutorials/basic_training","number":88,"title":"Mittlerer quadratischer Fehler","category":"Modalität & Produktion","summary":"Der Mittelwert der quadrierten Unterschiede zwischen Vorhersage und Ziel.","definition":"MSE quadriert jeden Vorhersagefehler und mittelt die Werte. Vision verwendet ihn für vorhergesagtes und hinzugefügtes Rauschen, sowohl im Trainingsbatch als auch zur Validierung.","importance":"Macht aus vielen numerischen Vorhersagefehlern eine skalare Zielfunktion.","boundary":"Die Skala hängt von der Zielrepräsentation ab; sie misst keine wahrgenommene Bildqualität.","keywords":["MSE","mittlerer quadratischer Fehler","mittleren quadratischen Fehler"],"matchTerms":["MSE","mittlerer quadratischer Fehler","mittleren quadratischen Fehler"],"related":["loss","noise-prediction","validation-loss"]},{"id":"latent-diffusion","reference":"https://arxiv.org/abs/2112.10752","number":89,"title":"Latente Diffusion","category":"Modalität & Produktion","summary":"Diffusion in einer komprimierten Bildrepräsentation statt direkt in RGB-Pixeln.","plain":"Das Rauschen wird in einer kleinen, komprimierten Fassung des Bilds entfernt; das geht schneller.","definition":"Der vortrainierte Vision-Starter verändert einen latenten Zustand. Sein VAE-Decoder erzeugt daraus Bildvorschauen. Der eigene kleine Trainer arbeitet dagegen im Pixelraum.","importance":"Erklärt den Unterschied zwischen sichtbarer Vorschau und Entrauschungszustand.","boundary":"Latente Komponenten sind keine RGB-Pixel und keine einzeln benannten Objekte.","keywords":["latente Diffusion","latenter Zustand","latente Zustände","latenten Zustand"],"matchTerms":["latente Diffusion","latenter Zustand","latente Zustände","latenten Zustand"],"related":["diffusion-model","vae","noise-prediction"]},{"id":"vae","reference":"https://arxiv.org/abs/1312.6114","number":90,"title":"Variational Autoencoder","category":"Modalität & Produktion","summary":"Ein Encoder-Decoder-Modell für eine gelernte probabilistische Komprimierung.","plain":"Packt ein Bild in eine kleine, komprimierte Form und packt es wieder zu einem Bild aus.","definition":"Ein VAE codiert Bilder in eine latente Verteilung und decodiert Repräsentationen zu Bildern. Vision nutzt den Decoder des Starters zur Anzeige aufgezeichneter latenter Zustände.","importance":"Verbindet komprimierte Diffusionszustände mit sichtbaren Bildern.","boundary":"Decodierung kann Details verändern oder verlieren; der kleine Pixelraum-Trainer hat keinen VAE.","keywords":["VAE","Variational Autoencoder","variationaler Autoencoder"],"matchTerms":["VAE","Variational Autoencoder","variationaler Autoencoder"],"related":["latent-diffusion","embeddings"]},{"id":"u-net","reference":"https://arxiv.org/abs/1505.04597","number":91,"title":"U-Net","category":"Modalität & Produktion","summary":"Ein Netz mit Verkleinerung, Vergrößerung und Verbindungen zwischen passenden Auflösungen.","plain":"Das Netz, das das verrauschte Bild im feinen Detail und als grobe Übersicht betrachtet.","definition":"U-Net-artige Entrauscher verbinden großräumige Merkmale niedrigerer Auflösung mit feineren Merkmalen aus Skip-Verbindungen. Der kleine Vision-Entrauscher hat einen kompakten Faltungsweg mit einer Skip-Verbindung.","importance":"Erklärt die Kombination von Bildmerkmalen verschiedener räumlicher Größen.","boundary":"Ein U-Net muss keine Attention enthalten; seine Stufen sind keine Transformer-Blöcke.","keywords":["U-Net","U-Nets","UNet"],"matchTerms":["U-Net","U-Nets","UNet"],"related":["diffusion-model","noise-prediction"]},{"id":"classifier-free-guidance","reference":"https://arxiv.org/abs/2207.12598","number":92,"title":"Classifier-free Guidance","category":"Modalität & Produktion","summary":"Kombiniert Vorhersagen mit und ohne Konditionierung für einen einstellbaren Texteffekt.","plain":"Legt fest, wie genau das Bild deiner Textbeschreibung folgen soll.","definition":"Der vortrainierte Vision-Weg kombiniert Entrauschungsvorhersagen mit und ohne Textkonditionierung anhand der Guidance-Stärke. Das kleine Pixelraum-Modell bietet diesen Regler nicht.","importance":"Verbindet die Guidance-Einstellung mit der Textkonditionierung beim Generieren.","boundary":"Höhere Guidance verbessert nicht zwingend die Qualität; sie ist keine Sampling-Temperatur.","keywords":["Classifier-free Guidance","Guidance-Stärke","Guidance-Skala"],"matchTerms":["Classifier-free Guidance","Guidance-Stärke","Guidance-Skala"],"related":["latent-diffusion","image-caption","noise-prediction"]},{"id":"cross-attention","reference":"https://arxiv.org/abs/2112.10752","number":93,"title":"Cross-Attention","category":"Modalität & Produktion","summary":"Attention, bei der Bildpositionen die Token-Vektoren des Text-Encoders lesen.","plain":"Hier schauen die Teile des Bilds auf die Wörter deiner Beschreibung.","definition":"Im U-Net von Stable Diffusion gewichten Cross-Attention-Schichten für jede räumliche Position des latenten Bildes die Prompt-Tokens: Queries kommen aus Bildmerkmalen, Keys und Values aus der Ausgabe des Text-Encoders. Der Vision Explorer zeigt pro Entrauschungsschritt die Gewichte einer aufgezeichneten Cross-Attention-Schicht.","importance":"Zeigt, wo im Bild der Prompt die Vorhersage beim Entrauschen lenken kann.","boundary":"Die Gewichte zeigen, was eine Schicht aus dem Prompt liest, nicht warum etwas gezeichnet wird; andere Schichten und Heads wirken mit.","keywords":["Cross-Attention","Kreuz-Attention"],"matchTerms":["Cross-Attention","Kreuz-Attention"],"related":["attention","u-net","text-encoder","classifier-free-guidance"]},{"id":"scheduler","reference":"https://arxiv.org/abs/2202.09778","number":94,"title":"Scheduler (Sampler)","category":"Modalität & Produktion","summary":"Die Regel, die aus dem vorhergesagten Rauschen jedes Schritts den nächsten Zustand macht.","plain":"Die Regel, die in jedem Schritt ein Stück des geschätzten Rauschens entfernt.","definition":"Ein Diffusions-Scheduler legt die Folge der Zeitschritte fest und verrechnet in jedem Schritt den aktuellen verrauschten Zustand mit der Rauschvorhersage des Modells zum nächsten Zustand. Die vortrainierten Vision-Modelle nutzen PNDM; jeder aufgezeichnete Schritt zeigt Zustand davor, vorhergesagtes Rauschen und Änderung.","importance":"Erklärt, warum dasselbe Modell mit anderem Scheduler oder anderer Schrittzahl andere Bilder liefern kann.","boundary":"Ein Scheduler hat keine eigenen trainierten Gewichte und entscheidet nicht, was gezeichnet wird.","keywords":["Scheduler","Sampler","PNDM"],"matchTerms":["Scheduler","Sampler","PNDM"],"related":["noise-schedule","diffusion-timestep","noise-prediction","diffusion-model"]},{"id":"text-encoder","reference":"https://arxiv.org/abs/2103.00020","number":95,"title":"Text-Encoder (CLIP)","category":"Modalität & Produktion","summary":"Das Netz, das die Tokens des Prompts in Vektoren für den Bild-Entrauscher übersetzt.","plain":"Übersetzt deine Textbeschreibung in Zahlen, die der Bildgenerator lesen kann.","definition":"Stable Diffusion zerlegt den Prompt in höchstens 77 Tokens, füllt den Rest auf und schickt sie durch einen CLIP-Text-Encoder. Seine Ausgabevektoren sind in jedem Entrauschungsschritt die Keys und Values der Cross-Attention im U-Net.","importance":"Verbindet den eingegebenen Prompt mit dem, was der Entrauscher beim Entfernen des Rauschens lesen kann.","boundary":"Der Text-Encoder bleibt bei der Bilderzeugung unverändert und erzeugt keinen Text.","keywords":["Text-Encoder","CLIP"],"matchTerms":["Text-Encoder","CLIP"],"related":["tokenization","cross-attention","latent-diffusion","classifier-free-guidance"]},{"id":"visual-encoder","reference":"https://arxiv.org/abs/2502.14786","number":96,"title":"Bild-Encoder","category":"Modalität & Produktion","summary":"Ein vortrainiertes Bildnetz, das ein Bild in Tokens übersetzt, die ein Sprachmodell lesen kann.","definition":"In encoder-basierten Vision-Language-Modellen zerlegt ein Vision Transformer wie CLIP oder SigLIP das Bild in Patches, lässt sie in beide Richtungen aufeinander achten und gibt das Ergebnis über einen Adapter und einen Projektor als Bild-Tokens an das Sprachmodell weiter. Er bringt ein visuelles Vorwissen mit, das aus großen Sammlungen von Bild-Text-Paaren gelernt wurde.","importance":"Das Sprachmodell kann Bilder vom ersten Trainings-Step an nutzen, statt das Sehen aus rohen Pixeln zu lernen.","boundary":"Das ist die Bildseite von Modellen, die Bilder verstehen. In Stable Diffusion liest der CLIP-Text-Encoder den Prompt, kein Bild.","keywords":["Bild-Encoder","visual encoder","image encoder","ViT","SigLIP","encoder-basiert"],"matchTerms":["Bild-Encoder","visual encoder"],"related":["vision-language-models","image-patch-token","encoder-free-multimodal","text-encoder","attention"]},{"id":"encoder-free-multimodal","reference":"https://arxiv.org/abs/2609.35457","number":97,"title":"Encoder-freies multimodales Modell","category":"Modalität & Produktion","summary":"Ein Sprachmodell, das Bild-Patches direkt liest, ohne separates vortrainiertes Bildnetz.","definition":"Encoder-freie Modelle projizieren rohe Bild-Patches direkt in das Sprachmodell, das die Bildmerkmale selbst lernen muss. In einem kontrollierten Vergleich (Chen et al., 2026) erreichten sie bei den gemessenen Größen einen höheren multimodalen Loss als encoder-basierte Modelle, ihr Loss sank aber mit mehr Rechenaufwand schneller; ihre frühen Layer übernahmen die Arbeit, die sonst ein Bild-Encoder leistet.","importance":"Zeigt einen anderen Aufbau: ein Netz für Bild und Text statt Bild-Encoder plus Sprachmodell.","boundary":"Das vorhergesagte Aufholen bei etwa 10^22 Trainings-FLOPs ist eine Extrapolation angepasster Skalierungsgesetze, weit jenseits dessen, was diese App trainiert.","keywords":["encoder-frei","encoder-free","nativ multimodal","Fuyu","EVE"],"matchTerms":["encoder-frei","encoder-free"],"related":["visual-encoder","image-patch-token","scaling-laws","vision-language-models","transformer-block"]},{"id":"image-patch-token","reference":"https://arxiv.org/abs/2010.11929","number":98,"title":"Bild-Patch-Token","category":"Modalität & Produktion","summary":"Ein kleines Quadrat eines Bildes als ein Vektor, damit ein Transformer das Bild als Folge behandeln kann.","definition":"Das Bild wird in Patches fester Größe zerlegt, zum Beispiel 16×16 Pixel; jeder Patch wird flachgelegt und auf die Modellbreite projiziert, sodass pro Patch ein Token entsteht. Innerhalb eines Bildes dürfen diese Tokens oft in beide Richtungen aufeinander achten, anders als Text-Tokens unter einer kausalen Maske.","importance":"Bilder nutzen damit dieselbe Token- und Attention-Mechanik wie Text.","boundary":"Ein Patch-Token enthält Pixel, kein Wort; er bedeutet nur das, was das Netz daraus lernt.","keywords":["Patch","Bild-Patch","Patch-Embedding","Bild-Token"],"matchTerms":["Bild-Patch","Patch-Token","Bild-Token"],"related":["tokenization","token-embedding","causal-mask","visual-encoder","encoder-free-multimodal"]},{"id":"scaling-laws","reference":"https://arxiv.org/abs/2203.15556","number":99,"title":"Skalierungsgesetze","category":"Training & Anpassung","summary":"Angepasste Regeln dafür, wie der Loss sinkt, wenn Modellgröße, Trainingsdaten und Rechenaufwand wachsen.","definition":"Skalierungsgesetze beschreiben den Validierungs-Loss als Potenzgesetz von Trainingsrechenaufwand, Modellgröße und Token-Anzahl, angepasst an viele kleinere Läufe. Die Chinchilla-Methode trainiert Modelle unterschiedlicher Größe mit demselben Rechenbudget (IsoFLOP-Profile), um die rechenoptimale Aufteilung zwischen Parametern und Tokens zu finden.","importance":"Damit lassen sich große Läufe aus kleinen vorhersagen und Bauweisen bei gleichem Rechenaufwand vergleichen.","boundary":"Ein angepasstes Gesetz beschreibt den gemessenen Bereich; alles darüber hinaus ist eine Extrapolation und kann falsch sein.","keywords":["Skalierungsgesetz","scaling law","Chinchilla","rechenoptimal","IsoFLOP"],"matchTerms":["Skalierungsgesetz","Skalierungsgesetze","rechenoptimal"],"related":["training","loss","validation-loss","encoder-free-multimodal"]},{"id":"rgb444","number":100,"title":"RGB444-Farb-Tokens","category":"Modalität & Produktion","summary":"Eine Palette mit 4.096 Farben: eine Token-ID pro Pixelfarbe.","plain":"Jede Farbe erhält eine Nummer. Sie sagt welche Farbe, nicht wo sie liegt.","definition":"RGB444 verwendet vier Bits für Rot, Grün und Blau. Bei Kanalwerten von 0 bis 15 gilt: ID = Rot × 256 + Grün × 16 + Blau. Angezeigte RGB-Kanäle werden mit 17 multipliziert. Das Formenmodell sagt diese Farb-IDs pro Bildzeile vorher.","importance":"Bildtokenisierung ist damit direkt umkehrbar und ohne gelerntes Bild-Codebuch untersuchbar.","boundary":"Eine Farb-ID enthält weder Ort noch Objektidentität. Eine größere Palette verkürzt die Bildsequenz nicht.","keywords":["RGB444","Farb-Token","Palette"],"matchTerms":["RGB444","Farb-Token"],"related":["tokenization","image-caption"]},{"id":"teacher-forcing","number":101,"title":"Teacher Forcing","category":"Training & Anpassung","summary":"Beim Training wird mit richtigen Vorgängerdaten statt mit der eigenen erzeugten Ausgabe weitergerechnet.","plain":"Beim Üben sieht das Modell den richtigen vorherigen Schritt. Später muss es seine eigene Antwort verwenden.","definition":"Im Formenmodell wird die Zielzeile aus Beschreibung, Position, rekurrentem Zustand und richtiger vorheriger Bildzeile vorhergesagt. Beim Generieren wird die eigene vorhergesagte Zeile zurückgeführt. Der Trainingsfehler ist Kreuzentropie über 4.096 Farbklassen pro Pixel.","importance":"Erklärt, warum sinkender Trainingsfehler und sich fortsetzende Fehler beim Generieren gleichzeitig auftreten können.","boundary":"Garantiert keine korrekten frei erzeugten Bilder. Pixel derselben erzeugten Zeile sind bedingt unabhängig.","keywords":["Teacher Forcing","Zeilengenerierung"],"matchTerms":["Teacher Forcing"],"related":["rgb444","training","loss"]},{"id":"learning-rate","number":102,"title":"Lernrate","category":"Training & Anpassung","summary":"Wie weit der Optimierer die Gewichte in einem Step verschiebt.","plain":"Wie groß jede Korrektur ist. Ist sie zu groß, springt das Training, ist sie zu klein, kommt es kaum voran.","definition":"Die Lernrate skaliert jede Änderung, die der Optimierer an den Gewichten vornimmt. Auf der Trainingsseite steigt sie während eines kurzen Warmups an und fällt dann kosinusförmig auf ein Zehntel ihres Höchstwerts; auf der Formen-Seite fällt sie kosinusförmig auf ein Zehntel oder bleibt konstant.","importance":"Eine zu hohe Lernrate lässt den Loss springen oder divergieren; eine zu niedrige verschenkt Steps.","boundary":"Es gibt keinen allgemein richtigen Wert. Er hängt mit Batchgröße, Optimierer und Modellgröße zusammen, und ein guter Wert für einen Lauf ist für den nächsten nur ein Startpunkt.","keywords":["Lernrate","learning rate","Warmup","Kosinus-Verlauf"],"matchTerms":["Lernrate","Lernraten","Learning Rate"],"related":["optimizer","training-step","batch-size","adamw","training"]},{"id":"batch-size","number":103,"title":"Batchgröße","category":"Training & Anpassung","summary":"Wie viele Beispiele ein Step mittelt, bevor sich die Gewichte ändern.","plain":"Wie viele Beispiele sich das Modell ansieht, bevor es sich einmal korrigiert.","definition":"Ein Batch ist die Gruppe von Beispielen, deren Loss zu einem Gradienten und einer Änderung gemittelt wird. Auf der Trainingsseite entsteht der Batch eines Steps aus Micro batches: Der Micro batch ist, was auf einmal auf die Karte passt, und die Gradient Accumulation addiert Micro batches bis zur geplanten Größe des Steps. Auf der Formen-Seite ist die Batchgröße die Zahl der Bilder pro Step.","importance":"Größere Batches geben pro Step einen ruhigeren Gradienten, kosten aber Speicher und Zeit; zusammen mit den Steps bestimmen sie, wie viele Daten ein Lauf sieht.","boundary":"Ein größerer Batch ist nicht automatisch besser, und eine andere Batchgröße braucht meist eine andere Lernrate. Der Micro batch ändert Geschwindigkeit und Speicher, nicht die Größe eines Steps.","keywords":["Batch","Micro batch","Gradient Accumulation"],"matchTerms":["Batch","Batches","Batchgröße","Batch-Größe"],"related":["training-step","epoch","learning-rate","training"]},{"id":"training-step","number":104,"title":"Step","category":"Training & Anpassung","summary":"Ein Update der Gewichte: Batch rein, Loss, Gradient, eine Änderung durch den Optimierer.","plain":"Eine Übungsrunde: Das Modell sieht einen Batch an, misst seinen Fehler und korrigiert die Gewichte einmal.","definition":"Ein Step schickt einen Batch durch das Modell, berechnet den Loss, führt den Gradienten zurück und lässt den Optimierer die Gewichte einmal ändern. Der Step-Zähler eines Laufs zählt diese Änderungen; Checkpoints, Auswertungen und der Verlauf der Lernrate richten sich nach ihm.","importance":"Steps sind die Uhr eines Trainingslaufs: Laufdauer, Speicherintervall und Loss-Kurven werden in Steps gemessen.","boundary":"Ein Step ist keine Epoch und kein Generierungsschritt. Wie viel ein Step lernt, hängt von Batchgröße und Lernrate ab. Die Entrauschungsschritte der Bildgenerierung sind ein anderer Zähler.","keywords":["Trainings-Step","Optimierer","Update"],"matchTerms":["Steps","Trainings-Step","Trainings-Steps"],"notIn":["Toerken.","Workflow.","Course.","Learn.ChapterPlain.","Settings.Demo.","Data.Empty.","Runs.Download.","Telemetry.","Vision.Steps","Vision.StepProgress","Onboarding.Tokenizer.Why","Sample.Rail.MinPHint"],"related":["batch-size","epoch","learning-rate","checkpoint","training"]},{"id":"epoch","number":105,"title":"Epoch","category":"Training & Anpassung","summary":"Ein vollständiger Durchlauf aller Trainingsdaten durch das Modell.","plain":"Einmal durch alle Trainingsbeispiele. Zehn Epochs heißt: Jedes Beispiel kam etwa zehnmal dran.","definition":"Eine Epoch ist abgeschlossen, wenn jedes Trainingsbeispiel einmal verwendet wurde. Bei fester Batchgröße gilt: Epochs ≈ Steps × Batchgröße ÷ Zahl der Trainingsbeispiele. Die Formen-Seite zeigt diese Schätzung neben den Steps; die Trainingsseite zählt stattdessen Steps und Tokens.","importance":"Epochs sagen, wie oft das Modell dieselben Daten wieder sieht, und genau das treibt bei kleinen Datensätzen das Auswendiglernen.","boundary":"Die App trainiert nach Steps, nicht nach Epochs, die Zahl ist also eine Schätzung. Mehr Epochs auf einer kleinen Menge können den Trainings-Loss senken, während die Validierung schlechter wird.","keywords":["Epoch","Durchlauf","Auswendiglernen"],"matchTerms":["Epochs","Epoche","Epochen"],"related":["training-step","batch-size","dataset","validation-loss"]},{"id":"gate","number":106,"title":"Gate","category":"Training & Anpassung","summary":"Eine gelernte Zahl zwischen 0 und 1, die zwei Quellen zu einem Ergebnis mischt.","plain":"Wie eine Weiche pro Pixel: Sie stellt ein, wie viel der Farbe aus der Beschreibung kommt und wie viel vom Modell selbst.","definition":"Im Formenmodell berechnet jedes Pixel ein Gate g zwischen 0 und 1. Die Wahrscheinlichkeit einer Farbe ist g × die Farbe, die die Beschreibung nennt, plus (1 − g) × die eigene Farbvorhersage des Modells. Der Explorer zeigt g als Anteil aus der Beschreibung; nennt die Beschreibung keine Farbe, ist das Gate geschlossen (0).","importance":"Es zeigt, ob die Farbe eines Pixels aus dem Text übernommen wurde oder aus dem Gelernten kommt, etwa aus der Farbe der Zeile darüber.","boundary":"Ein Gate ist ein berechnetes Gewicht, keine Entscheidung oder Absicht des Modells. Ein Gate nahe 100 % sagt, woher die Farbe kommt, nicht dass das Pixel am richtigen Ort liegt.","keywords":["Gate","Gating","Pointer-Generator","Mischung"],"matchTerms":["Gate","Gates","Gating"],"related":["rgb444","teacher-forcing","attention","softmax"]},{"id":"python","number":107,"title":"Python","category":"Inferenz & Betrieb","summary":"Eine Programmiersprache, in der viele KI-Werkzeuge geschrieben sind.","plain":"Python ist die Sprache der Rechenseite dieser App; du bedienst sie über die Oberfläche.","definition":"Python führt Programme aus. Die Rechenseite von LLM Studio nutzt Python, um Daten vorzubereiten und Bibliotheken wie PyTorch aufzurufen. Die Windows-Oberfläche ist ein anderer Teil der App.","importance":"Das erklärt, warum beim Einrichten neben der App auch eine Python-Umgebung und Pakete vorbereitet werden.","boundary":"Python allein enthält kein trainiertes Modell. Für die Lernpfade musst du nicht selbst Python programmieren.","keywords":["Python","python"],"matchTerms":["Python"],"related":["pytorch","numpy"],"reference":"https://docs.python.org/3/tutorial/"},{"id":"pytorch","number":108,"title":"PyTorch","category":"Inferenz & Betrieb","summary":"Ein Software-Werkzeugkasten zum Rechnen mit neuronalen Netzen.","plain":"PyTorch erledigt die Zahlenrechnungen, mit denen ein Modell lernt und Antworten berechnet.","definition":"PyTorch ist eine Bibliothek, die von Python aus benutzt werden kann. Sie rechnet mit Tensoren, stellt Bausteine neuronaler Netze bereit und berechnet beim Training automatisch Ableitungen für die Gewichtsänderungen. LLM Studio verwendet sie auf der Rechenseite.","importance":"Das Modell ist der Bauplan mit seinen gelernten Gewichten; PyTorch ist das Werkzeug, das die Berechnungen ausführt.","boundary":"PyTorch ist weder ein fertiger Chatbot noch ein bestimmtes Modell. CPU- oder GPU-Nutzung hängt von Installation, Hardware und dem gewählten Arbeitsablauf ab.","keywords":["PyTorch","pytorch"],"matchTerms":["PyTorch"],"related":["python","tensor","cpu","gpu","cuda","optimizer"],"reference":"https://docs.pytorch.org/tutorials/beginner/basics/intro.html"},{"id":"tensor","number":109,"title":"Tensor","category":"Inferenz & Betrieb","summary":"Ein Zahlenfeld mit einer festgelegten Form.","plain":"Ein Tensor ist ein geordnetes Paket aus Zahlen, etwa eine Liste, Tabelle oder ein Stapel von Tabellen.","definition":"In PyTorch kann ein Tensor zum Beispiel die Zahlen eines Wortvektors, die Farben eines Bildes oder die Gewichte einer Schicht enthalten. Seine Form nennt die Länge jeder Achse: 3 × 64 × 64 kann drei Farbkanäle eines 64 × 64 großen Bildes bedeuten. Der Datentyp legt fest, wie jede Zahl gespeichert wird.","importance":"Tensoren verbinden die sichtbaren Farbraster und Vektorstreifen mit den tatsächlichen Zahlen im Modell.","boundary":"Die Form allein verrät nicht die Bedeutung der Achsen. Drei Achsen können je nach Rechenschritt etwas ganz anderes darstellen.","keywords":["Tensor","tensor","shape","array","dimensions"],"matchTerms":["Tensor","Tensoren"],"related":["pytorch","numpy","embeddings","safetensors"],"reference":"https://docs.pytorch.org/tutorials/beginner/basics/tensorqs_tutorial.html"},{"id":"cpu","number":110,"title":"CPU","category":"Inferenz & Betrieb","summary":"Der allgemeine Hauptprozessor des Computers.","plain":"Die CPU erledigt die normalen Computeraufgaben und kann auch Modellrechnungen ausführen.","definition":"CPU steht für Central Processing Unit. Sie führt Programme aus, organisiert Daten und berechnet auch Tensoroperationen. Bei CPU-Berechnungen liegt der größte Teil der Modelldaten im Arbeitsspeicher, dem RAM.","importance":"CPU und GPU sind zwei mögliche Rechenorte. So wird verständlich, warum eine Aufgabe ohne Grafikkarte länger dauern kann.","boundary":"CPU-Unterstützung von PyTorch bedeutet nicht, dass jede Funktion dieser App oder jedes beliebig große Modell auf CPU freigeschaltet ist. Zeit und verfügbarer RAM begrenzen den Einsatz.","keywords":["CPU","cpu","RAM","processor"],"matchTerms":["CPU"],"related":["gpu","pytorch"],"reference":"https://docs.pytorch.org/tutorials/beginner/basics/tensorqs_tutorial.html"},{"id":"gpu","number":111,"title":"GPU","category":"Inferenz & Betrieb","summary":"Ein Prozessor für sehr viele parallele Rechenoperationen.","plain":"Die GPU kann viele ähnliche Zahlenrechnungen gleichzeitig erledigen – das hilft beim Training.","definition":"GPU steht für Graphics Processing Unit. Viele Operationen neuronaler Netze lassen sich in zahlreiche parallele Rechnungen zerlegen. Eine geeignete GPU kann diese beschleunigen; Modelle und Zwischenwerte benötigen dabei Platz in ihrem Grafikspeicher, dem VRAM.","importance":"Das erklärt, warum beim Training sowohl die GPU-Unterstützung als auch der freie VRAM wichtig sind.","boundary":"Eine GPU macht nicht jede Aufgabe schneller. Hardware, Rechenverfahren und Software müssen zusammenpassen; RAM und VRAM sind nicht derselbe Speicher.","keywords":["GPU","gpu","VRAM","graphics card"],"matchTerms":["GPU"],"related":["cpu","cuda","pytorch"],"reference":"https://docs.pytorch.org/tutorials/beginner/basics/tensorqs_tutorial.html"},{"id":"cuda","number":112,"title":"CUDA","category":"Inferenz & Betrieb","summary":"NVIDIAs Softwareplattform zum Rechnen auf unterstützten NVIDIA-GPUs.","plain":"CUDA ist ein Weg, über den PyTorch eine passende NVIDIA-Grafikkarte für Rechnungen nutzt.","definition":"CUDA stellt Programmierschnittstellen und Werkzeuge für allgemeine Berechnungen auf NVIDIA-GPUs bereit. In einem passenden PyTorch-Setup laufen damit Tensoroperationen auf der GPU statt auf der CPU. Ein kompatibler NVIDIA-Treiber wird benötigt.","importance":"Der Begriff erklärt die Verbindung zwischen Grafikkarte, Treiber und der installierten PyTorch-Variante.","boundary":"CUDA ist keine Grafikkarte und kein Modell. Eine CPU-Installation braucht CUDA nicht; eine beliebige GPU oder eine separat installierte Toolkit-Version garantiert keine Kompatibilität.","keywords":["CUDA","cuda"],"matchTerms":["CUDA"],"related":["gpu","pytorch","cpu"],"reference":"https://docs.nvidia.com/cuda/cuda-programming-guide/index.html"},{"id":"numpy","number":113,"title":"NumPy","category":"Inferenz & Betrieb","summary":"Eine Python-Bibliothek für Zahlenfelder und numerische Datenverarbeitung.","plain":"NumPy hilft, große Zahlenlisten und Tabellen effizient zu speichern und zu verarbeiten.","definition":"NumPy stellt mehrdimensionale Arrays und Rechenfunktionen bereit. Die Rechenseite dieser App verwendet es unter anderem bei der Datenvorbereitung. PyTorch-Tensoren ähneln solchen Arrays, können aber zusätzlich auf unterstützten GPUs rechnen und für das Training Ableitungen verfolgen.","importance":"Das unterscheidet Datenwerkzeuge von Modellbibliotheken: Beide arbeiten mit Zahlen, haben aber unterschiedliche Aufgaben.","boundary":"Ein NumPy-Array ist kein trainiertes neuronales Netz. NumPy und PyTorch sind nicht in allen Operationen oder Speicherlayouts austauschbar.","keywords":["NumPy","numpy"],"matchTerms":["NumPy"],"related":["python","tensor","pytorch"],"reference":"https://numpy.org/doc/stable/user/whatisnumpy.html"},{"id":"hugging-face-hub","number":114,"title":"Hugging Face Hub","category":"Inferenz & Betrieb","summary":"Eine Plattform für Modell-Dateien, Datensätze und deren Beschreibungen.","plain":"Der Hub ist ein Ort, von dem du passende Modelldateien herunterladen kannst.","definition":"Hugging Face betreibt den Hub und entwickelt Bibliotheken wie Transformers und Diffusers. Ein Modell-Repository kann Gewichte, Konfiguration, Tokenizer und eine Model Card mit Informationen zum Modell enthalten. Heruntergeladene Modelle können mit geeigneter Software lokal ausgeführt werden.","importance":"So lassen sich die Downloadquelle, die Programmbibliothek und das eigentliche Modell auseinanderhalten.","boundary":"Ein Eintrag auf dem Hub garantiert weder Qualität noch App-Kompatibilität. Modellbeschreibung und jeweilige Nutzungsbedingungen gehören zum Prüfen dazu; lokales Laden ist nicht dasselbe wie ein gehosteter API-Aufruf.","keywords":["Hugging Face Hub","hugging-face-hub"],"matchTerms":["Hugging Face Hub"],"related":["transformers-library","diffusers","safetensors"],"reference":"https://huggingface.co/docs/hub/index"},{"id":"transformers-library","number":115,"title":"Transformers (Hugging Face)","category":"Inferenz & Betrieb","summary":"Eine Bibliothek zum Laden und Benutzen unterstützter Modellarchitekturen.","plain":"Die Transformers-Bibliothek verbindet passende Modell-Dateien mit dem Code, der sie berechnet.","definition":"Hugging Face Transformers stellt Implementierungen von Modellarchitekturen und Werkzeuge für Tokenizer sowie die Ein- und Ausgabe bereit. Die App verwendet diese Bibliothek für unterstützte externe Modelle. Die trainierten Gewichte sind eigene Dateien.","importance":"Transformers kann zwei Dinge meinen: die allgemeine Architektur oder diese konkrete Softwarebibliothek.","boundary":"Die Bibliothek ist nicht selbst Qwen oder ein anderer Checkpoint. Unterstützung durch die Bibliothek bedeutet nicht automatisch Unterstützung jeder Architektur und jeder Visualisierung in LLM Studio.","keywords":["Transformers (Hugging Face)","transformers-library"],"matchTerms":["Transformers (Hugging Face)","Hugging Face Transformers"],"related":["transformers","pytorch","hugging-face-hub","tokenization"],"reference":"https://huggingface.co/docs/transformers/index"},{"id":"diffusers","number":116,"title":"Diffusers","category":"Inferenz & Betrieb","summary":"Eine Bibliothek mit Bausteinen für Diffusionsmodelle.","plain":"Diffusers verbindet bei der Bilderzeugung die Schritte vom Rauschen bis zum Bild.","definition":"Hugging Face Diffusers stellt Modellbausteine, Scheduler und Pipelines für Diffusionsverfahren bereit. Der Diffusionspfad der Vision-Seite nutzt solche Bausteine. Eine Pipeline kann zum Beispiel Textencoder, Rauschvorhersage, Scheduler und Bilddecoder verbinden.","importance":"Das erklärt den Unterschied zwischen einer Bibliothek, einem Bildmodell und den einzelnen Schritten im Vision Explorer.","boundary":"Diffusers ist kein einzelnes trainiertes Bildmodell. Der Formen-Lernmodus mit Farb-Tokens ist ein anderer Rechenweg und keine Diffusers-Pipeline.","keywords":["Diffusers","diffusers"],"matchTerms":["Diffusers"],"related":["pytorch","hugging-face-hub","diffusion-model"],"reference":"https://huggingface.co/docs/diffusers/index"},{"id":"safetensors","number":117,"title":"Safetensors","category":"Inferenz & Betrieb","summary":"Ein Dateiformat zum Speichern von Tensoren, oft Modellgewichten.","plain":"Eine Safetensors-Datei enthält Zahlen eines Modells – nicht das gesamte Programm darum herum.","definition":"Safetensors speichert benannte Tensoren mit Form, Datentyp und Zahlenwerten. Im Unterschied zu Python-Pickle benötigt das Lesen dieses Formats keine Ausführung eingebetteter Python-Objekte. Zum Benutzen von Gewichten werden weiterhin passende Architektur, Konfiguration und je nach Modell ein Tokenizer benötigt.","importance":"So wird verständlich, warum ein heruntergeladenes Gewichtsfile allein nicht genügt und warum Checkpoints zum Modelltyp passen müssen.","boundary":"Das Format bestätigt weder Herkunft noch Qualität oder Nutzungsrechte. Auch das übrige Modellpaket und sein Programmcode müssen geprüft werden.","keywords":["Safetensors","safetensors"],"matchTerms":["Safetensors"],"related":["tensor","pytorch","hugging-face-hub"],"reference":"https://huggingface.co/docs/safetensors/index"}],"revision":"e1d77a93ee3763b7ec7e72949f32d4fef5ef73cfd981fa6c0160e9d1afa490af","sourceCommit":"3df13173e1cdb99a2e3ce5a2ca9dccd1013091b9","sourceDirty":false,"sourceSha256":"e1d77a93ee3763b7ec7e72949f32d4fef5ef73cfd981fa6c0160e9d1afa490af","revisionAlgorithm":"sha256-utf8-lf-no-bom"}