# Wiki — M.E.F LLM Studio

Source: https://www.mef-llm-studio.com/ro/wiki/

Consultă concepte, explorează legături și propune îmbunătățiri.

Wiki SHA-256 18af578133e83464f980ad6bd0ccc2e9e8ec8e084f4308cea7c708b662bf5638

## LLM Fundamentals

Ce învață, ce generează și ce nu garantează un model de limbaj mare.

**Ce înseamnă?:** Un model de limbaj mare estimează probabilități pentru continuări lingvistice pe baza unor parametri învățați. Produce secvențe plauzibile, dar nu deține, prin el însuși, nici autoritatea unei surse actuale și nici o dovadă a adevărului pentru afirmații individuale.

**De ce contează?:** Fără această imagine de bază, fluența, cunoștințele, raționamentul și verificarea sunt ușor confundate între ele.

**Limită importantă:** O ieșire care sună probabil nu este automat adevărată și nici trasabilă la o sursă concretă.

- [Transformers](https://www.mef-llm-studio.com/ro/wiki/#transformers)
- [Tokenization](https://www.mef-llm-studio.com/ro/wiki/#tokenization)
- [LLM Inference](https://www.mef-llm-studio.com/ro/wiki/#llm-inference)
- [Hallucination Detection](https://www.mef-llm-studio.com/ro/wiki/#hallucination-detection)

## Transformers

O arhitectură care procesează secvențe prin mecanisme de atenție în loc de lanțuri recurente de stări.

**Ce înseamnă?:** Arhitectura Transformer este compusă din blocuri repetate de atenție și feed-forward. Modelează relațiile dintre pozițiile unei secvențe de intrare și poate fi antrenată cu un grad ridicat de paralelizare.

**De ce contează?:** Constituie fundamentul tehnic al majorității modelelor de limbaj moderne și al multor modele multimodale.

**Limită importantă:** Arhitectura nu spune nimic despre corectitudinea, actualitatea sau caracterul autorizat al unui rezultat.

- [Attention Mechanism](https://www.mef-llm-studio.com/ro/wiki/#attention)
- [Multi-Head Attention](https://www.mef-llm-studio.com/ro/wiki/#multi-head-attention)
- [Bloc Transformer](https://www.mef-llm-studio.com/ro/wiki/#transformer-block)
- [Flux rezidual](https://www.mef-llm-studio.com/ro/wiki/#residual-stream)
- [Positional Encoding](https://www.mef-llm-studio.com/ro/wiki/#positional-encoding)
- [LLM Fundamentals](https://www.mef-llm-studio.com/ro/wiki/#llm-fundamentals)

## Attention Mechanism

Fiecare poziție combină pozițiile pe care le poate citi, cu ponderi care însumează 100 %.

**Ce înseamnă?:** Pentru o poziție Query, atenția evaluează fiecare Key pe care îl poate citi, transformă scorurile în ponderi prin softmax și adună valorile cu aceste ponderi. Fiecare Head Query își calculează propriile ponderi; în modelele de tip GPT-2 fiecare Head are și propriile proiecții Key și Value, iar la Grouped-Query Attention (Llama, Qwen2) mai multe Head-uri Query împart un Head Key/Value.

**De ce contează?:** Permite modelelor să surprindă referințe la distanță mare și relații dependente de context.

**Limită importantă:** Ponderile de atenție nu constituie o explicație de încredere și nici o dovadă a utilizării cauzale.

- [Transformers](https://www.mef-llm-studio.com/ro/wiki/#transformers)
- [Multi-Head Attention](https://www.mef-llm-studio.com/ro/wiki/#multi-head-attention)
- [Attention Head (cap de atenție)](https://www.mef-llm-studio.com/ro/wiki/#attention-head)
- [Mască cauzală](https://www.mef-llm-studio.com/ro/wiki/#causal-mask)
- [Softmax](https://www.mef-llm-studio.com/ro/wiki/#softmax)
- [Embeddings](https://www.mef-llm-studio.com/ro/wiki/#embeddings)
- [Observability](https://www.mef-llm-studio.com/ro/wiki/#observability)

## Multi-Head Attention

Mai multe proiecții de atenție examinează aceeași secvență în paralel.

**Ce înseamnă?:** Multi-Head Attention împarte reprezentarea în mai multe capete (heads) de atenție învățate. Fiecare cap poate surprinde relații sau proiecții diferite; rezultatele sunt apoi combinate.

**De ce contează?:** Perspectivele paralele sporesc capacitatea de expresie a unui bloc Transformer.

**Limită importantă:** Un cap de atenție nu are un rol semantic garantat fix, cu excepția cazului în care acel rol a fost măsurat separat.

- [Attention Mechanism](https://www.mef-llm-studio.com/ro/wiki/#attention)
- [Attention Head (cap de atenție)](https://www.mef-llm-studio.com/ro/wiki/#attention-head)
- [Bloc Transformer](https://www.mef-llm-studio.com/ro/wiki/#transformer-block)
- [Transformers](https://www.mef-llm-studio.com/ro/wiki/#transformers)
- [LLM Evaluation](https://www.mef-llm-studio.com/ro/wiki/#llm-evaluation)

## Tokenization

Descompunerea textului în unități discrete pentru model.

**Ce înseamnă?:** Tokenizarea transformă textul în ID-uri pe care un model le poate procesa. În funcție de metodă, tokenii corespund unor cuvinte, părți de cuvinte, caractere sau octeți.

**De ce contează?:** Influențează lungimea secvenței, multilingvismul, reprezentarea numerelor și modul în care modelul percepe variantele ortografice.

**Limită importantă:** Limitele tokenilor sunt limite tehnice și nu automat limite lingvistice sau ontologice.

- [Embeddings](https://www.mef-llm-studio.com/ro/wiki/#embeddings)
- [Context Windows](https://www.mef-llm-studio.com/ro/wiki/#context-windows)
- [LLM Fundamentals](https://www.mef-llm-studio.com/ro/wiki/#llm-fundamentals)

## Embeddings

Vectori învățați pentru obiecte discrete sau structurate.

**Ce înseamnă?:** Embedding-urile mapează tokeni, propoziții, documente sau alte obiecte în vectori numerici denși. Vectorii apropiați pot indica o utilizare statistic similară.

**De ce contează?:** Fac intrările discrete procesabile pentru modelele neurale și stau la baza metodelor de căutare semantică.

**Limită importantă:** Proximitatea vectorială nu înseamnă identitate, nici adevăr și nici o relație de autoritate.

- [Embedding de token](https://www.mef-llm-studio.com/ro/wiki/#token-embedding)
- [Semantic Search](https://www.mef-llm-studio.com/ro/wiki/#semantic-search)
- [Vector Databases](https://www.mef-llm-studio.com/ro/wiki/#vector-databases)
- [Attention Mechanism](https://www.mef-llm-studio.com/ro/wiki/#attention)

## Positional Encoding

Informații despre poziția ocupată de un element într-o secvență.

**Ce înseamnă?:** Deoarece atenția în sine nu cunoaște ordinea, modelele adaugă informație de poziție: modelele de tip GPT-2 adună la fiecare embedding de token un vector de poziție învățat, rotary encoding (RoPE, în Llama și Qwen2) rotește Query-urile și Key-urile în funcție de poziție în interiorul atenției, iar schemele relative ajustează scorurile de atenție. Astfel, modelul poate distinge ordinea și distanța.

**De ce contează?:** Alegerea metodei influențează generalizarea lungimii și capacitatea de a învăța ordinea relațională.

**Limită importantă:** Un semnal de poziție poate genera scurtături nedorite atunci când poziția și ținta corelează în timpul antrenării.

- [Transformers](https://www.mef-llm-studio.com/ro/wiki/#transformers)
- [Attention Mechanism](https://www.mef-llm-studio.com/ro/wiki/#attention)
- [Context Windows](https://www.mef-llm-studio.com/ro/wiki/#context-windows)

## Prompt Engineering

Conceperea sistematică a instrucțiunilor și a contextului furnizat.

**Ce înseamnă?:** Prompt engineering structurează sarcina, exemplele, formatul de ieșire, constrângerile și contextul, astfel încât un model să răspundă mai fiabil într-un rol dorit.

**De ce contează?:** Reprezintă o pârghie rapidă pentru adaptarea comportamentului, în special fără antrenare.

**Limită importantă:** Un prompt bun nu este un mecanism de securitate și nici o garanție a acurateței factuale sau a fidelității față de instrumente.

- [Few-Shot Learning](https://www.mef-llm-studio.com/ro/wiki/#few-shot-learning)
- [Structured Outputs](https://www.mef-llm-studio.com/ro/wiki/#structured-outputs)
- [Prompt Evaluation](https://www.mef-llm-studio.com/ro/wiki/#prompt-evaluation)
- [Guardrails](https://www.mef-llm-studio.com/ro/wiki/#guardrails)

## Few-Shot Learning

Ghidarea sarcinii prin intermediul câtorva exemple plasate în context.

**Ce înseamnă?:** În few-shot learning, modelul primește câteva exemple de intrare-ieșire în interiorul promptului și deduce din acestea tiparul dorit pentru cazuri noi.

**De ce contează?:** Poate transmite formatul și schema sarcinii fără actualizarea ponderilor.

**Limită importantă:** Exemplele consumă context și pot ancora tipare nedorite sau erori drept șablon.

- [Prompt Engineering](https://www.mef-llm-studio.com/ro/wiki/#prompt-engineering)
- [Context Windows](https://www.mef-llm-studio.com/ro/wiki/#context-windows)
- [Fine-Tuning](https://www.mef-llm-studio.com/ro/wiki/#fine-tuning)

## Chain-of-Thought

Pași intermediari pe care un model îi generează înainte de sau odată cu răspunsul său.

**Ce înseamnă?:** Chain-of-thought desemnează raționamente textuale intermediare care pot descompune sarcini complexe în pași mai simpli. Justificările vizibile pot fi utile, dar reprezintă tot text generat de model.

**De ce contează?:** Tehnica poate îmbunătăți rezolvarea sarcinilor în mai multe etape și face vizibile punctele de eșec.

**Limită importantă:** Un lanț de gândire plauzibil nu este o dovadă că exact acei pași au fost cauzali la nivel intern sau că sunt corecți faptic.

- [Structured Outputs](https://www.mef-llm-studio.com/ro/wiki/#structured-outputs)
- [LLM Evaluation](https://www.mef-llm-studio.com/ro/wiki/#llm-evaluation)
- [Observability](https://www.mef-llm-studio.com/ro/wiki/#observability)

## RAG

Generarea augmentată prin regăsire combină căutarea cu generarea de text.

**Ce înseamnă?:** RAG regăsește conținut relevant la momentul rulării și îl furnizează unui generator drept context. Astfel, faptele actuale sau private nu trebuie să rezide în întregime în ponderile modelului.

**De ce contează?:** Îmbunătățește capacitatea de actualizare și poate permite atribuirea surselor.

**Limită importantă:** Găsit nu înseamnă validat; contextul nu constituie o dovadă; citarea nu înseamnă că afirmația decurge în mod logic din sursă.

- [Semantic Search](https://www.mef-llm-studio.com/ro/wiki/#semantic-search)
- [Reranking](https://www.mef-llm-studio.com/ro/wiki/#reranking)
- [Chunking Strategies](https://www.mef-llm-studio.com/ro/wiki/#chunking)
- [Vector Databases](https://www.mef-llm-studio.com/ro/wiki/#vector-databases)

## Vector Databases

Stocare și indexare pentru căutarea pe bază de similaritate peste vectori.

**Ce înseamnă?:** O bază de date vectorială stochează embedding-uri împreună cu identificatori și metadate, găsind intrări printr-o măsură de distanță sau similaritate.

**De ce contează?:** Face practică și eficientă căutarea semantică peste colecții mari de date.

**Limită importantă:** Indexul determină doar proximitatea, nu validitatea, actualitatea, drepturile sau absența contradicțiilor.

- [Embeddings](https://www.mef-llm-studio.com/ro/wiki/#embeddings)
- [Semantic Search](https://www.mef-llm-studio.com/ro/wiki/#semantic-search)
- [RAG](https://www.mef-llm-studio.com/ro/wiki/#rag)
- [Hybrid Search](https://www.mef-llm-studio.com/ro/wiki/#hybrid-search)

## Semantic Search

Căutare după proximitatea sensului, nu doar după șiruri de caractere identice.

**Ce înseamnă?:** Căutarea semantică codifică interogarea și conținutul în reprezentări vectoriale și ordonează candidații pe baza apropierii modelate a semnificației.

**De ce contează?:** Găsește conținut parafrazat sau înrudit conceptual pe care o căutare pură după cuvinte-cheie îl omite.

**Limită importantă:** Proximitatea semantică poate livra cu încredere candidați greșiți și necesită delimitări clare de domeniu și autoritate.

- [Embeddings](https://www.mef-llm-studio.com/ro/wiki/#embeddings)
- [Vector Databases](https://www.mef-llm-studio.com/ro/wiki/#vector-databases)
- [Hybrid Search](https://www.mef-llm-studio.com/ro/wiki/#hybrid-search)
- [Reranking](https://www.mef-llm-studio.com/ro/wiki/#reranking)

## Hybrid Search

O combinație între căutarea lexicală și cea semantică.

**Ce înseamnă?:** Căutarea hibridă combină potrivirile exacte sau bazate pe termeni cu similaritatea bazată pe embedding-uri, fuzionând listele de rezultate prin reguli sau reordonare.

**De ce contează?:** Acoperă atât denumiri și coduri precise, cât și variații lingvistice.

**Limită importantă:** Fuziunea necesită o calibrare bine definită; două scoruri provenite din spații diferite nu sunt comparabile automat.

- [Semantic Search](https://www.mef-llm-studio.com/ro/wiki/#semantic-search)
- [Reranking](https://www.mef-llm-studio.com/ro/wiki/#reranking)
- [Vector Databases](https://www.mef-llm-studio.com/ro/wiki/#vector-databases)

## Reranking

O a doua etapă de sortare, mai precisă, pentru candidații deja găsiți.

**Ce înseamnă?:** Un modul de reranking recalculează scorurile unui set restrâns de candidați folosind mai mult context sau un model mai puternic. Optimizează ordinea, nu acoperirea inițială.

**De ce contează?:** Poate aduce dovezile relevante mai devreme în listă și reduce volumul de date activ transferat.

**Limită importantă:** Un modul de reranking nu poate recupera un candidat omis și nu trebuie să confunde poziția în clasament cu acceptarea conținutului.

- [Semantic Search](https://www.mef-llm-studio.com/ro/wiki/#semantic-search)
- [Hybrid Search](https://www.mef-llm-studio.com/ro/wiki/#hybrid-search)
- [RAG](https://www.mef-llm-studio.com/ro/wiki/#rag)
- [Model Routing](https://www.mef-llm-studio.com/ro/wiki/#model-routing)

## Chunking Strategies

Modul în care sursele sunt împărțite în secțiuni ce pot fi regăsite.

**Ce înseamnă?:** Segmentarea (chunking) împarte documentele în unități de regăsire după lungime, propoziții, paragrafe, structură sau limite semantice.

**De ce contează?:** Împărțirea stabilește dacă este inclus suficient context fără a dilua căutarea cu blocuri prea mari.

**Limită importantă:** Un fragment (chunk) nu trebuie să-și piardă intervalele sursă, versiunea și vecinătatea textuală; altfel, proveniența ulterioară devine doar aproximativă.

- [RAG](https://www.mef-llm-studio.com/ro/wiki/#rag)
- [Context Windows](https://www.mef-llm-studio.com/ro/wiki/#context-windows)
- [Semantic Search](https://www.mef-llm-studio.com/ro/wiki/#semantic-search)

## Context Windows

Secvența maximă de intrare activă pentru un apel al modelului.

**Ce înseamnă?:** Fereastra de context include instrucțiunea de sistem, intrarea utilizatorului, exemplele, conținutul regăsit și ieșirile anterioare pe care un model le poate lua în considerare într-un singur apel.

**De ce contează?:** Limitează cantitatea de informație activă, costul și timpul de execuție, influențând ce conținut poate fi procesat simultan.

**Limită importantă:** Un context mai mare nu garantează o utilizare mai bună; conținutul irelevant sau contradictoriu poate degrada performanța.

- [Context](https://www.mef-llm-studio.com/ro/wiki/#context)
- [Chunking Strategies](https://www.mef-llm-studio.com/ro/wiki/#chunking)
- [RAG](https://www.mef-llm-studio.com/ro/wiki/#rag)
- [KV Cache](https://www.mef-llm-studio.com/ro/wiki/#kv-cache)
- [AI Cost Optimization](https://www.mef-llm-studio.com/ro/wiki/#cost-optimization)

## Function Calling

Un model propune argumente structurate de apel pentru o funcție declarată.

**Ce înseamnă?:** Function calling permite unui model să înțeleagă descrierea unei interfețe și să formuleze un bloc de argumente conform cu o schemă.

**De ce contează?:** Creează o punte lizibilă automat între limbajul natural și codul de program.

**Limită importantă:** Argumentele conforme cu schema nu sunt automat logice, sigure sau autorizate.

- [Tool Calling](https://www.mef-llm-studio.com/ro/wiki/#tool-calling)
- [Structured Outputs](https://www.mef-llm-studio.com/ro/wiki/#structured-outputs)
- [MCP](https://www.mef-llm-studio.com/ro/wiki/#mcp)

## Tool Calling

Un model propune utilizarea unei capabilități externe.

**Ce înseamnă?:** Tool calling extinde apelarea de funcții cu acțiuni externe concrete, cum ar fi căutarea, accesul la baze de date, execuția de cod sau operațiuni de business.

**De ce contează?:** Permite unui model de limbaj să obțină informații sau să producă efecte în sisteme reale.

**Limită importantă:** Propunerea modelului nu trebuie să constituie niciodată singură autorizarea de execuție; erorile, rezultatele parțiale și efectele secundare necesită contracte proprii.

- [Function Calling](https://www.mef-llm-studio.com/ro/wiki/#function-calling)
- [AI Agents](https://www.mef-llm-studio.com/ro/wiki/#ai-agents)
- [MCP](https://www.mef-llm-studio.com/ro/wiki/#mcp)
- [Guardrails](https://www.mef-llm-studio.com/ro/wiki/#guardrails)

## AI Agents

Sisteme care urmăresc obiective de-a lungul mai multor pași de model și instrumente.

**Ce înseamnă?:** Un agent AI combină deciziile modelului, starea, instrumentele și o logică de control pentru a lucra la o sarcină de-a lungul mai multor etape.

**De ce contează?:** Agenții pot rezolva sarcini dinamice în care pasul următor reiese abia din rezultatul anterior.

**Limită importantă:** O autonomie mai mare amplifică lanțurile de erori și efectele secundare; o buclă de execuție nu ține loc de guvernanță.

- [Agentic Workflows](https://www.mef-llm-studio.com/ro/wiki/#agentic-workflows)
- [Tool Calling](https://www.mef-llm-studio.com/ro/wiki/#tool-calling)
- [Memory Systems](https://www.mef-llm-studio.com/ro/wiki/#memory-systems)
- [Guardrails](https://www.mef-llm-studio.com/ro/wiki/#guardrails)

## Agentic Workflows

Structură de flux explicită pentru pași și decizii agentice.

**Ce înseamnă?:** Fluxurile de lucru agentice organizează apelurile de modele, instrumentele, verificările, reîncercările și transferurile într-un proces controlat.

**De ce contează?:** Un flux de lucru permite delimitarea autonomiei și favorizează componente specializate în locul unei bucle infinite neclare.

**Limită importantă:** Un flux grafic nu demonstrează o autoritate corectă sau o gestionare validă a erorilor; fiecare tranziție are nevoie de semantică precisă.

- [AI Agents](https://www.mef-llm-studio.com/ro/wiki/#ai-agents)
- [Multi-Agent Systems](https://www.mef-llm-studio.com/ro/wiki/#multi-agent-systems)
- [Observability](https://www.mef-llm-studio.com/ro/wiki/#observability)
- [Production GenAI Systems](https://www.mef-llm-studio.com/ro/wiki/#production-genai)

## Memory Systems

Stare persistentă sau adiacentă execuției, situată în afara contextului modelului.

**Ce înseamnă?:** Sistemele de memorie stochează conversații, observații, fapte, stări de lucru sau rezumate dincolo de apelurile individuale ale modelului.

**De ce contează?:** Asigură continuitate și reduc nevoia de a reintroduce întreaga istorie în prompt.

**Limită importantă:** Stocat nu înseamnă adevărat; amintirile au nevoie de proveniență, versiune, validitate și reguli de ștergere sau revocare.

- [RAG](https://www.mef-llm-studio.com/ro/wiki/#rag)
- [AI Agents](https://www.mef-llm-studio.com/ro/wiki/#ai-agents)
- [Vector Databases](https://www.mef-llm-studio.com/ro/wiki/#vector-databases)
- [Observability](https://www.mef-llm-studio.com/ro/wiki/#observability)

## Multi-Agent Systems

Mai multe roluri distincte de agenți colaborează la aceeași sarcină.

**Ce înseamnă?:** Sistemele multi-agent distribuie planificarea, cercetarea, analiza critică sau execuția între mai mulți actori bazați pe modele sau reguli, cu căi de comunicare definite.

**De ce contează?:** Specializarea și verificarea încrucișată pot structura sarcini complexe de lucru.

**Limită importantă:** Acordul dintre mai multe modele nu reprezintă un adevăr independent; o amprentă comună din antrenare poate multiplica aceeași eroare.

- [AI Agents](https://www.mef-llm-studio.com/ro/wiki/#ai-agents)
- [Agentic Workflows](https://www.mef-llm-studio.com/ro/wiki/#agentic-workflows)
- [LLM Evaluation](https://www.mef-llm-studio.com/ro/wiki/#llm-evaluation)

## MCP

Un protocol deschis pentru instrumente, resurse și prompturi între gazde și servere AI.

**Ce înseamnă?:** Model Context Protocol standardizează comunicarea dintre gazdă, clienți și servere specializate. Serverele pot oferi resurse, instrumente și prompturi clar declarate; capabilitățile sunt negociate explicit.

**De ce contează?:** Reduce integrările proprietare punct-la-punct și face serviciile specializate ușor combinabile.

**Limită importantă:** MCP standardizează transportul și suprafața de capabilități, nu adevărul, autorizarea instrumentelor sau calitatea dovezilor.

- [Tool Calling](https://www.mef-llm-studio.com/ro/wiki/#tool-calling)
- [Function Calling](https://www.mef-llm-studio.com/ro/wiki/#function-calling)
- [AI Agents](https://www.mef-llm-studio.com/ro/wiki/#ai-agents)

## Structured Outputs

Ieșiri ale modelului care respectă o schemă fixă, lizibilă automat.

**Ce înseamnă?:** Ieșirile structurate constrâng răspunsul la câmpuri, tipuri și valori permise, de obicei prin JSON Schema, gramatici formale sau decodare constrânsă.

**De ce contează?:** Fac ieșirile validabile și reduc ambiguitățile la parsare.

**Limită importantă:** Valid structural nu înseamnă corect semantic; un obiect perfect valid poate conține valori complet eronate.

- [Function Calling](https://www.mef-llm-studio.com/ro/wiki/#function-calling)
- [Guardrails](https://www.mef-llm-studio.com/ro/wiki/#guardrails)
- [LLM Evaluation](https://www.mef-llm-studio.com/ro/wiki/#llm-evaluation)

## Optimizator

Un algoritm care actualizează parametrii modelului în timpul antrenării.

**Ce înseamnă?:** Un optimizator folosește gradienții și o rată de învățare pentru a actualiza parametrii modelului. Metodele diferă prin modul în care combină gradienții anteriori, scalează actualizările individuale și aplică weight decay.

**De ce contează?:** Alegerea optimizatorului influențează direct stabilitatea antrenării, viteza de convergență și overhead-ul de memorie.

**Limită importantă:** Un optimizator nu stabilește obiectivul de antrenare și nici nu garantează generalizarea. Această aplicație folosește în prezent AdamW și nu oferă o selecție a optimizatorului.

- [SGD](https://www.mef-llm-studio.com/ro/wiki/#sgd)
- [RMSprop](https://www.mef-llm-studio.com/ro/wiki/#rmsprop)
- [Adam](https://www.mef-llm-studio.com/ro/wiki/#adam)
- [AdamW](https://www.mef-llm-studio.com/ro/wiki/#adamw)
- [Fine-Tuning](https://www.mef-llm-studio.com/ro/wiki/#fine-tuning)

## SGD

Coborârea stochastică pe gradient actualizează ponderile pe baza gradienților unor batch-uri eșantionate.

**Ce înseamnă?:** SGD simplu scade din fiecare parametru gradientul scalat cu rata de învățare. Momentum este o variantă opțională care duce mai departe o parte din actualizările anterioare.

**De ce contează?:** Regula simplă de actualizare face ușor de urmărit comportamentul optimizatorului și efectul ratei de învățare.

**Limită importantă:** SGD simplu are puțină stare persistentă, dar poate necesita o alegere atentă a ratei de învățare. Este un concept de comparație, nu un optimizator selectabil în această aplicație.

- [Optimizator](https://www.mef-llm-studio.com/ro/wiki/#optimizer)
- [RMSprop](https://www.mef-llm-studio.com/ro/wiki/#rmsprop)
- [Adam](https://www.mef-llm-studio.com/ro/wiki/#adam)
- [AdamW](https://www.mef-llm-studio.com/ro/wiki/#adamw)

## RMSprop

O actualizare adaptivă scalată printr-o medie mobilă a gradienților pătrați.

**Ce înseamnă?:** RMSprop urmărește pentru fiecare parametru gradienții pătrați recenți și împarte gradientul la estimarea rădăcinii lor, cu un mic termen de stabilizare.

**De ce contează?:** Ilustrează de ce parametri diferiți pot primi dimensiuni efective diferite ale pasului.

**Limită importantă:** Pașii adaptivi nu garantează un loss de validare mai bun și nu previn overfitting-ul. RMSprop nu poate fi selectat în această aplicație.

- [Optimizator](https://www.mef-llm-studio.com/ro/wiki/#optimizer)
- [SGD](https://www.mef-llm-studio.com/ro/wiki/#sgd)
- [Adam](https://www.mef-llm-studio.com/ro/wiki/#adam)
- [AdamW](https://www.mef-llm-studio.com/ro/wiki/#adamw)

## Adam

Adaptive Moment Estimation combină medii mobile ale gradienților și ale pătratelor lor.

**Ce înseamnă?:** Adam păstrează pentru fiecare parametru o estimare a primului moment al gradienților și una a celui de-al doilea moment al gradienților pătrați, apoi le folosește pentru a scala actualizările.

**De ce contează?:** Explică memoria suplimentară pentru starea optimizatorului afișată la planificarea unei rulări.

**Limită importantă:** Adam folosește stare suplimentară și nu asigură prin el însuși generalizarea. Aplicația folosește AdamW, nu o opțiune Adam selectabilă.

- [Optimizator](https://www.mef-llm-studio.com/ro/wiki/#optimizer)
- [RMSprop](https://www.mef-llm-studio.com/ro/wiki/#rmsprop)
- [AdamW](https://www.mef-llm-studio.com/ro/wiki/#adamw)

## AdamW

Decuplează weight decay de actualizarea pe bază de gradient pentru a păstra puterea reală de regularizare.

**Ce înseamnă?:** AdamW păstrează estimările primului și celui de-al doilea moment din Adam, dar aplică weight decay separat de actualizarea adaptivă pe bază de gradient. Această aplicație folosește AdamW pentru preantrenare și fine-tuning.

**De ce contează?:** Este optimizatorul standard pentru antrenarea modelelor de limbaj mari moderne.

**Limită importantă:** Aplicația nu oferă o selecție a optimizatorului; de asemenea, AdamW și weight decay necesită validare și nu garantează rezultate mai bune.

- [Optimizator](https://www.mef-llm-studio.com/ro/wiki/#optimizer)
- [Adam](https://www.mef-llm-studio.com/ro/wiki/#adam)
- [Fine-Tuning](https://www.mef-llm-studio.com/ro/wiki/#fine-tuning)
- [SFT](https://www.mef-llm-studio.com/ro/wiki/#sft)

## Fine-Tuning

Antrenarea suplimentară a unui model preantrenat pentru o sarcină sau un domeniu.

**Ce înseamnă?:** La fine-tuning, parametrii modelului sunt actualizați cu un set de date mai mic și țintit. Acest lucru poate specializa comportamentul, formatul sau performanța într-un domeniu.

**De ce contează?:** Mută tiparele recurente din prompt în ponderi.

**Limită importantă:** Fine-tuning-ul nu garantează nici generalizarea, nici fapte actuale și poate deplasa capabilitățile existente.

- [SFT](https://www.mef-llm-studio.com/ro/wiki/#sft)
- [LoRA & QLoRA](https://www.mef-llm-studio.com/ro/wiki/#lora-qlora)
- [PEFT](https://www.mef-llm-studio.com/ro/wiki/#peft)
- [DPO](https://www.mef-llm-studio.com/ro/wiki/#dpo)
- [RLHF](https://www.mef-llm-studio.com/ro/wiki/#rlhf)

## SFT

Supervised Fine-Tuning deprinde comportamentul conversațional prin perechi demonstrative.

**Ce înseamnă?:** SFT continuă antrenarea unui model preantrenat pe exemple de conversații. În această aplicație, întreaga conversație oferă context, dar numai tokenii de răspuns ai asistentului contribuie la loss-ul de antrenare.

**De ce contează?:** Transformă un model de bază de continuare a textului într-un asistent conversațional utilizabil.

**Limită importantă:** SFT învață din exemplele pe care le primește; nu dovedește acuratețea factuală, alinierea la preferințe sau siguranța. Această aplicație actualizează direct ponderile modelului și nu antrenează adaptori LoRA.

- [Fine-Tuning](https://www.mef-llm-studio.com/ro/wiki/#fine-tuning)
- [DPO](https://www.mef-llm-studio.com/ro/wiki/#dpo)
- [PEFT](https://www.mef-llm-studio.com/ro/wiki/#peft)
- [AdamW](https://www.mef-llm-studio.com/ro/wiki/#adamw)

## LoRA & QLoRA

Adaptare cu puțini parametri prin matrici suplimentare de rang redus.

**Ce înseamnă?:** LoRA îngheață matricea de bază și antrenează adaptori mici low-rank. QLoRA combină acest principiu cu un model de bază cuantizat pentru a reduce și mai mult consumul de memorie.

**De ce contează?:** Face posibilă adaptarea modelelor mari cu semnificativ mai puțini parametri antrenabili.

**Limită importantă:** Mai puțini parametri antrenabili nu înseamnă automat un necesar mai mic de date, o calitate mai bună sau o evaluare mai simplă. LoRA și QLoRA nu sunt oferite în această aplicație, care antrenează toate ponderile propriilor checkpoint-uri GPT.

- [PEFT](https://www.mef-llm-studio.com/ro/wiki/#peft)
- [Fine-Tuning](https://www.mef-llm-studio.com/ro/wiki/#fine-tuning)
- [Quantization](https://www.mef-llm-studio.com/ro/wiki/#quantization)

## PEFT

O familie de metode eficiente din punctul de vedere al parametrilor pentru fine-tuning.

**Ce înseamnă?:** Parameter-Efficient Fine-Tuning modifică doar o mică parte din parametri suplimentari sau selectați, cum ar fi adaptori, prefixe sau matrici low-rank.

**De ce contează?:** Reduce costurile de memorie și calcul pentru numeroase variante specializate.

**Limită importantă:** PEFT este o metodă de antrenare, nu o garanție de izolare între roluri sau de combinare sigură a adaptorilor. Această aplicație nu oferă nicio metodă PEFT; pretraining, SFT, DPO și ORPO actualizează toate ponderile checkpoint-urilor GPT antrenate în aplicație.

- [LoRA & QLoRA](https://www.mef-llm-studio.com/ro/wiki/#lora-qlora)
- [Fine-Tuning](https://www.mef-llm-studio.com/ro/wiki/#fine-tuning)
- [Model Compression](https://www.mef-llm-studio.com/ro/wiki/#model-compression)

## RLHF

Optimizarea unui model cu feedback învățat din preferințele umane.

**Ce înseamnă?:** Reinforcement Learning from Human Feedback folosește comparații umane, un model de preferințe sau de recompensă și optimizare ulterioară pentru a alinia răspunsurile la comportamentul dorit.

**De ce contează?:** Poate îmbunătăți utilitatea, stilul și comportamentul de siguranță.

**Limită importantă:** Preferința nu reprezintă adevăr; reward hacking-ul și standardele neclare ale evaluatorilor rămân posibile. RLHF cu un model de recompensă nu este implementat în această aplicație; modurile DPO și ORPO învață în schimb din perechi de preferințe offline.

- [DPO](https://www.mef-llm-studio.com/ro/wiki/#dpo)
- [Fine-Tuning](https://www.mef-llm-studio.com/ro/wiki/#fine-tuning)
- [AI Safety](https://www.mef-llm-studio.com/ro/wiki/#ai-safety)
- [LLM Evaluation](https://www.mef-llm-studio.com/ro/wiki/#llm-evaluation)

## DPO

Optimizare directă către răspunsurile preferate în defavoarea celor respinse.

**Ce înseamnă?:** Direct Preference Optimization antrenează un model direct din perechi de răspunsuri, fără a rula o buclă clasică separată de RL cu un model propriu de recompensă.

**De ce contează?:** Simplifică alinierea la preferințe în comparație cu multe fluxuri RLHF.

**Limită importantă:** Metoda moștenește calitatea, bias-ul și ontologia datelor de preferință și nu dovedește fidelitate factuală.

- [SFT](https://www.mef-llm-studio.com/ro/wiki/#sft)
- [RLHF](https://www.mef-llm-studio.com/ro/wiki/#rlhf)
- [Fine-Tuning](https://www.mef-llm-studio.com/ro/wiki/#fine-tuning)
- [Prompt Evaluation](https://www.mef-llm-studio.com/ro/wiki/#prompt-evaluation)

## Knowledge Distillation

Un model mai mic învață din ieșirile sau reprezentările unui profesor mai mare.

**Ce înseamnă?:** Distilarea transferă comportamentul unui model profesor către un elev mai mic, de exemplu prin soft targets, logits, stări intermediare sau exemple de antrenare generate.

**De ce contează?:** Poate produce specialiști compacți care rulează local și cu costuri reduse.

**Limită importantă:** Elevul preia și erorile sau unghiurile moarte ale profesorului; acordul cu profesorul nu constituie o referință absolută independentă. Distilarea nu este un mod de antrenare în această aplicație.

- [Model Compression](https://www.mef-llm-studio.com/ro/wiki/#model-compression)
- [Fine-Tuning](https://www.mef-llm-studio.com/ro/wiki/#fine-tuning)
- [LLM Evaluation](https://www.mef-llm-studio.com/ro/wiki/#llm-evaluation)

## Quantization

Reprezentarea ponderilor sau activărilor folosind mai puțini biți.

**Ce înseamnă?:** Cuantizarea reduce precizia numerică, de exemplu de la FP32 la FP16, INT8 sau formate inferioare. Poate avea loc după antrenare sau în timpul antrenării conștiente de cuantizare.

**De ce contează?:** Reduce utilizarea memoriei și poate accelera inferența.

**Limită importantă:** Erorile de rotunjire și scalare pot genera eșecuri funcționale rare pe care o valoare agregată le maschează.

- [Model Compression](https://www.mef-llm-studio.com/ro/wiki/#model-compression)
- [LLM Inference](https://www.mef-llm-studio.com/ro/wiki/#llm-inference)
- [LoRA & QLoRA](https://www.mef-llm-studio.com/ro/wiki/#lora-qlora)

## Model Compression

Metode pentru reducerea dimensiunii modelului sau a costului de calcul.

**Ce înseamnă?:** Compresia modelelor cuprinde cuantizarea, pruning-ul, distilarea, factorizarea și alte metode care fac un model mai mic sau mai rapid.

**De ce contează?:** Permite execuția locală și un consum redus de resurse operaționale.

**Limită importantă:** Compresia este un succes numai dacă axele relevante de calitate și siguranță sunt conservate.

- [Quantization](https://www.mef-llm-studio.com/ro/wiki/#quantization)
- [Knowledge Distillation](https://www.mef-llm-studio.com/ro/wiki/#knowledge-distillation)
- [AI Cost Optimization](https://www.mef-llm-studio.com/ro/wiki/#cost-optimization)

## LLM Inference

Rularea unui model antrenat pe intrări noi.

**Ce înseamnă?:** Inferența cuprinde preprocesarea, trecerile directe (forward passes), decodarea, gestionarea cache-ului și pregătirea ieșirii pentru un model deja antrenat.

**De ce contează?:** Aici se manifestă latența reală, consumul de memorie, paralelizarea și comportamentul la execuție.

**Limită importantă:** Un checkpoint încărcat corect și o decodare deterministă nu dovedesc corectitudinea factuală.

- [Trecere directă (forward pass)](https://www.mef-llm-studio.com/ro/wiki/#forward-pass)
- [Sampling (eșantionare)](https://www.mef-llm-studio.com/ro/wiki/#sampling)
- [KV Cache](https://www.mef-llm-studio.com/ro/wiki/#kv-cache)
- [Speculative Decoding](https://www.mef-llm-studio.com/ro/wiki/#speculative-decoding)
- [LLM Serving](https://www.mef-llm-studio.com/ro/wiki/#llm-serving)
- [Quantization](https://www.mef-llm-studio.com/ro/wiki/#quantization)

## KV Cache

Un cache pentru cheile și valorile de atenție ale tokenilor deja procesați.

**Ce înseamnă?:** În decodarea autoregresivă, cache-ul KV stochează stările calculate de cheie și valoare, astfel încât tokenii anteriori să nu fie reprocesați complet pentru fiecare token nou.

**De ce contează?:** Accelerează considerabil generarea, dar poate ocupa un volum mare de memorie.

**Limită importantă:** Cache-ul stochează Key-uri și Value-uri, nu ponderi de atenție sau ieșiri: fiecare Query nou calculează ponderi noi peste toate Key-urile din cache. La Grouped-Query Attention păstrează o intrare pentru fiecare Head Key/Value, nu pentru fiecare Head Query. Decodarea cu cache și recalcularea completă a contextului sunt pe hârtie același calcul, dar nu identice la bit; în bfloat16 logits-urile pot diferi vizibil.

- [LLM Inference](https://www.mef-llm-studio.com/ro/wiki/#llm-inference)
- [Context Windows](https://www.mef-llm-studio.com/ro/wiki/#context-windows)
- [vLLM](https://www.mef-llm-studio.com/ro/wiki/#vllm)

## Speculative Decoding

O schiță rapidă este verificată în bloc de către un model țintă.

**Ce înseamnă?:** În decodarea speculativă, o metodă mai mică sau mai ieftină generează mai multe propuneri de tokeni pe care modelul țintă le acceptă sau le respinge în mai puțini pași.

**De ce contează?:** Poate reduce latența fără a modifica intenționat distribuția modelului țintă.

**Limită importantă:** Metoda accelerează decodarea, dar nu rezolvă problemele de evidență, halucinație sau autoritate.

- [LLM Inference](https://www.mef-llm-studio.com/ro/wiki/#llm-inference)
- [LLM Serving](https://www.mef-llm-studio.com/ro/wiki/#llm-serving)
- [vLLM](https://www.mef-llm-studio.com/ro/wiki/#vllm)

## LLM Serving

Furnizarea modelelor ca servicii de execuție robuste și planificabile.

**Ce înseamnă?:** LLM serving acoperă încărcarea modelelor, coada de cereri, batching-ul, paralelizarea, timeout-urile, streaming-ul, scalarea și izolarea erorilor.

**De ce contează?:** Determină dacă un model este reproductibil și operabil sub sarcină reală.

**Limită importantă:** Un debit ridicat nu constituie o dovadă de calitate sau guvernanță; servirea nu trebuie să ocolească filtrele de domeniu.

- [vLLM](https://www.mef-llm-studio.com/ro/wiki/#vllm)
- [LLM Inference](https://www.mef-llm-studio.com/ro/wiki/#llm-inference)
- [Observability](https://www.mef-llm-studio.com/ro/wiki/#observability)
- [Production GenAI Systems](https://www.mef-llm-studio.com/ro/wiki/#production-genai)

## vLLM

Un stack specializat open-source de servire pentru sarcini ridicate de LLM.

**Ce înseamnă?:** vLLM este un engine de inferență și servire cu gestionare a memoriei pentru cache-ul KV, continuous batching și căi de execuție optimizate suplimentar.

**De ce contează?:** Poate oferi un debit ridicat pentru modele și componente hardware compatibile.

**Limită importantă:** vLLM reprezintă infrastructură: nu definește nici proveniența dovezilor, nici rolul modelului, autoritatea instrumentelor sau validarea afirmațiilor.

- [LLM Serving](https://www.mef-llm-studio.com/ro/wiki/#llm-serving)
- [KV Cache](https://www.mef-llm-studio.com/ro/wiki/#kv-cache)
- [Speculative Decoding](https://www.mef-llm-studio.com/ro/wiki/#speculative-decoding)

## Model Routing

O cerere este direcționată către un model sau o cale adecvată.

**Ce înseamnă?:** Rutarea modelelor selectează între mai multe modele și căi de procesare pe baza sarcinii, domeniului, riscului, costului sau disponibilității.

**De ce contează?:** Permite specializarea și împiedică fiecare cerere să consume resursele celui mai scump monolit.

**Limită importantă:** Un ruter greșit poate genera rezultate plauzibile intern într-un domeniu greșit; starea necunoscută trebuie să fie o ieșire distinctă.

- [AI Agents](https://www.mef-llm-studio.com/ro/wiki/#ai-agents)
- [Reranking](https://www.mef-llm-studio.com/ro/wiki/#reranking)
- [Production GenAI Systems](https://www.mef-llm-studio.com/ro/wiki/#production-genai)

## Guardrails

Delimitări tehnice pentru intrări, ieșiri și acțiuni.

**Ce înseamnă?:** Mecanismele de guardrails verifică sau limitează formatele, conținutul, valorile, permisiunile și acțiunile înainte, în timpul sau după apelul unui model.

**De ce contează?:** Reduc clase de erori clar identificate și pot impune comportamente de tip fail-closed.

**Limită importantă:** Un filtru plasat în aval nu poate inventa retroactiv dovezi lipsă și nu trebuie să devină decidentul ascuns al sistemului.

- [AI Safety](https://www.mef-llm-studio.com/ro/wiki/#ai-safety)
- [Structured Outputs](https://www.mef-llm-studio.com/ro/wiki/#structured-outputs)
- [Hallucination Detection](https://www.mef-llm-studio.com/ro/wiki/#hallucination-detection)
- [Tool Calling](https://www.mef-llm-studio.com/ro/wiki/#tool-calling)

## AI Safety

Identificarea, limitarea și demonstrarea riscurilor sistemelor de inteligență artificială.

**Ce înseamnă?:** Siguranța AI cuprinde metode tehnice și organizaționale împotriva comportamentelor eronate, utilizării abuzive, pierderii controlului, efectelor secundare nedorite și deciziilor nesustenabile.

**De ce contează?:** Capabilitatea fără delimitarea consecințelor nu este un obiectiv suficient în sisteme reale.

**Limită importantă:** Siguranța nu este o metrică unică și nici un prompt; depinde de contextul sistemului, drepturi și costurile erorilor.

- [Guardrails](https://www.mef-llm-studio.com/ro/wiki/#guardrails)
- [Observability](https://www.mef-llm-studio.com/ro/wiki/#observability)
- [LLM Evaluation](https://www.mef-llm-studio.com/ro/wiki/#llm-evaluation)
- [Production GenAI Systems](https://www.mef-llm-studio.com/ro/wiki/#production-genai)

## Hallucination Detection

Verificarea dacă o afirmație generată este lipsită de suport sau contradictorie.

**Ce înseamnă?:** Detectarea halucinațiilor compară ieșirile cu surse, reguli, alte modele sau semnale de consistență pentru a semnala afirmațiile nefondate.

**De ce contează?:** Poate face vizibile erorile înainte de livrarea răspunsului.

**Limită importantă:** Un detector este el însuși predispus la erori; detectarea a posteriori nu înlocuiește o arhitectură care leagă afirmațiile de dovezi.

- [RAG](https://www.mef-llm-studio.com/ro/wiki/#rag)
- [Guardrails](https://www.mef-llm-studio.com/ro/wiki/#guardrails)
- [LLM Evaluation](https://www.mef-llm-studio.com/ro/wiki/#llm-evaluation)
- [Structured Outputs](https://www.mef-llm-studio.com/ro/wiki/#structured-outputs)

## LLM Evaluation

Măsurarea sistematică a comportamentului modelului pe suprafețe definite.

**Ce înseamnă?:** Evaluarea LLM combină seturi de date, metrici, baseline-uri, judecăți umane, contrafactuale și teste de robustețe pentru întrebări clar delimitate.

**De ce contează?:** Doar o evaluare delimitată separă progresul de impresie, noroc de prompt sau adaptare la teste.

**Limită importantă:** O metrică agregată poate ascunde eșecuri funcționale, cozile rezultatelor pe seed-uri, acoperirea și abținerile.

- [Prompt Evaluation](https://www.mef-llm-studio.com/ro/wiki/#prompt-evaluation)
- [Observability](https://www.mef-llm-studio.com/ro/wiki/#observability)
- [AI Safety](https://www.mef-llm-studio.com/ro/wiki/#ai-safety)

## Prompt Evaluation

Compararea variantelor de prompt pe o sarcină și un eșantion fixe.

**Ce înseamnă?:** Evaluarea prompturilor măsoară modul în care instrucțiunile, exemplele și cerințele de format afectează ieșirile definite.

**De ce contează?:** Previne considerarea unor exemple atractive izolate drept îmbunătățire generală.

**Limită importantă:** Calitatea promptului este doar o componentă; schimbările de furnizor, model, date și decodor trebuie analizate separat.

- [Prompt Engineering](https://www.mef-llm-studio.com/ro/wiki/#prompt-engineering)
- [LLM Evaluation](https://www.mef-llm-studio.com/ro/wiki/#llm-evaluation)
- [Few-Shot Learning](https://www.mef-llm-studio.com/ro/wiki/#few-shot-learning)

## Observability

Înțelegerea din datele de rulare a ceea ce a făcut un sistem și unde a eșuat.

**Ce înseamnă?:** Observabilitatea conectează jurnale structurate, trace-uri, metrici și versiuni de artefacte între componente și cereri.

**De ce contează?:** Permite investigarea erorilor, costurilor, latenței și a deviațiilor fără a încerca ghicirea execuției după fapt.

**Limită importantă:** Un jurnal arată un eveniment, dar nu automat justificarea sa funcțională sau semnificația cauzală.

- [Production GenAI Systems](https://www.mef-llm-studio.com/ro/wiki/#production-genai)
- [LLM Evaluation](https://www.mef-llm-studio.com/ro/wiki/#llm-evaluation)
- [AI Safety](https://www.mef-llm-studio.com/ro/wiki/#ai-safety)

## AI Cost Optimization

Reducerea corelată cu calitatea a costurilor de calcul, memorie și operare.

**Ce înseamnă?:** Optimizarea costurilor folosește rutare, modele mai mici, batching, caching, cuantizare, sarcini utile limitate și o utilizare mai eficientă a resurselor.

**De ce contează?:** Decide dacă un sistem este scalabil din punct de vedere economic.

**Limită importantă:** O ieșire mai mică sau mai ieftină nu este un succes dacă scade acoperirea dovezilor, siguranța pe cazurile limită sau calitatea sarcinii.

- [Model Routing](https://www.mef-llm-studio.com/ro/wiki/#model-routing)
- [Quantization](https://www.mef-llm-studio.com/ro/wiki/#quantization)
- [Model Compression](https://www.mef-llm-studio.com/ro/wiki/#model-compression)
- [LLM Serving](https://www.mef-llm-studio.com/ro/wiki/#llm-serving)

## Multimodal AI

Procesarea comună a mai multor modalități precum text, imagine și audio.

**Ce înseamnă?:** Sistemele multimodale conectează reprezentări și sarcini peste date de tip text, imagine, audio, video sau date de la senzori.

**De ce contează?:** Multe decizii din lumea reală nu se bazează exclusiv pe text.

**Limită importantă:** Fiecare modalitate are propriile erori de măsurare, axe temporale și proveniență; codificarea comună nu elimină aceste limite.

- [Vision-Language Models](https://www.mef-llm-studio.com/ro/wiki/#vision-language-models)
- [Production GenAI Systems](https://www.mef-llm-studio.com/ro/wiki/#production-genai)
- [Embeddings](https://www.mef-llm-studio.com/ro/wiki/#embeddings)

## Vision-Language Models

Modele pentru sarcini comune de imagine și limbaj.

**Ce înseamnă?:** Modelele vizual-lingvistice codifică intrările vizuale și limbajul într-un spațiu comun sau cuplat, de exemplu pentru descrieri de imagini, întrebări vizuale sau analiza documentelor.

**De ce contează?:** Deschid capturile de ecran, diagramele, scanările și scenele reale pentru fluxurile de lucru lingvistice.

**Limită importantă:** O descriere a unei imagini este o propunere de percepție; nu reprezintă automat o înregistrare sursă dovedită.

- [Multimodal AI](https://www.mef-llm-studio.com/ro/wiki/#multimodal-ai)
- [Structured Outputs](https://www.mef-llm-studio.com/ro/wiki/#structured-outputs)
- [Hallucination Detection](https://www.mef-llm-studio.com/ro/wiki/#hallucination-detection)
- [Encoder vizual](https://www.mef-llm-studio.com/ro/wiki/#visual-encoder)
- [Model multimodal fără encoder](https://www.mef-llm-studio.com/ro/wiki/#encoder-free-multimodal)

## AI Coding Agents

Agenți care citesc, modifică și testează cod și operează instrumente de dezvoltare.

**Ce înseamnă?:** Agenții de programare conectează modelele de limbaj cu căutarea în repository, editoare, shell, build, teste și controlul versiunilor.

**De ce contează?:** Pot lucra la sarcini software în mai mulți pași peste artefacte reale.

**Limită importantă:** Generarea de cod nu este corectitudine de cod; drepturile, domeniul de aplicare, testele, revizuirea și modificările reversibile rămân necesare.

- [AI Agents](https://www.mef-llm-studio.com/ro/wiki/#ai-agents)
- [Tool Calling](https://www.mef-llm-studio.com/ro/wiki/#tool-calling)
- [MCP](https://www.mef-llm-studio.com/ro/wiki/#mcp)
- [Production GenAI Systems](https://www.mef-llm-studio.com/ro/wiki/#production-genai)

## Production GenAI Systems

Întregul serviciu operabil construit în jurul modelelor, datelor, instrumentelor și guvernanței.

**Ce înseamnă?:** Un sistem GenAI de producție include nu doar un model, ci și versiuni de date și modele, API-uri, identități, cozi de așteptare, monitorizare, teste, rollback, costuri, limite de securitate și procese umane.

**De ce contează?:** Majoritatea erorilor reale apar la nivelul interfețelor și al stărilor operaționale, nu doar în faza de forward pass.

**Limită importantă:** O demonstrație cu răspunsuri bune nu este încă un sistem pregătit pentru producție.

- [Observability](https://www.mef-llm-studio.com/ro/wiki/#observability)
- [LLM Serving](https://www.mef-llm-studio.com/ro/wiki/#llm-serving)
- [AI Safety](https://www.mef-llm-studio.com/ro/wiki/#ai-safety)
- [Agentic Workflows](https://www.mef-llm-studio.com/ro/wiki/#agentic-workflows)

## JSON

Un format text pentru valori structurate, precum obiecte și tablouri.

**Ce înseamnă?:** JSON reprezintă obiecte, tablouri, șiruri de caractere, numere, valori booleene și null printr-o sintaxă compactă, independentă de limbajul de programare.

**De ce contează?:** Exemplele pentru model, configurațiile și răspunsurile instrumentelor folosesc des JSON deoarece software-ul îi poate interpreta structura.

**Limită importantă:** Un JSON valid sintactic nu garantează că o înregistrare conține câmpurile sau sensul cerut de o sarcină de antrenare.

- [JSONL](https://www.mef-llm-studio.com/ro/wiki/#jsonl)
- [Structured Outputs](https://www.mef-llm-studio.com/ro/wiki/#structured-outputs)
- [Set de date](https://www.mef-llm-studio.com/ro/wiki/#dataset)

## JSONL

Câte o valoare JSON completă pe fiecare linie, adesea câte un exemplu.

**Ce înseamnă?:** Un fișier JSON Lines este text UTF-8 în care fiecare linie nevidă este, separat, o valoare JSON validă. Extensia .jsonl este uzuală.

**De ce contează?:** Exemplele pot fi citite și verificate pe rând, fără încărcarea unui tablou JSON mare.

**Limită importantă:** O linie validă sintactic poate avea totuși o schemă sau un conținut nepotrivit pentru antrenare.

- [JSON](https://www.mef-llm-studio.com/ro/wiki/#json)
- [Set de date](https://www.mef-llm-studio.com/ro/wiki/#dataset)
- [SFT](https://www.mef-llm-studio.com/ro/wiki/#sft)
- [DPO](https://www.mef-llm-studio.com/ro/wiki/#dpo)

## Checkpoint

O stare a modelului salvată la un anumit pas al antrenării.

**Ce înseamnă?:** Un checkpoint păstrează parametrii modelului și metadatele care identifică pasul. În această aplicație, un checkpoint din care se poate relua conține și momentele optimizatorului, pasul, poziția în date și starea generatorului aleator (rata de învățare se recalculează din pas); checkpoint-urile 'best' care conțin doar ponderi pot fi folosite, dar nu reluate.

**De ce contează?:** Poți inspecta și compara stări anterioare, nu doar rezultatul ultimului pas.

**Limită importantă:** Un checkpoint nu dovedește calitatea modelului și nu este neapărat un pachet portabil pentru inferență.

- [Antrenare](https://www.mef-llm-studio.com/ro/wiki/#training)
- [Set de date](https://www.mef-llm-studio.com/ro/wiki/#dataset)
- [Loss de validare](https://www.mef-llm-studio.com/ro/wiki/#validation-loss)
- [LLM Inference](https://www.mef-llm-studio.com/ro/wiki/#llm-inference)

## Set de date

O colecție de exemple pregătite pentru antrenare sau evaluare.

**Ce înseamnă?:** Un set de date selectează și organizează exemple și țintele așteptate; de multe ori separă porțiunile de antrenare și validare.

**De ce contează?:** Sursa, acoperirea și împărțirea datelor influențează ce poate învăța modelul și ce măsoară un loss raportat.

**Limită importantă:** Un set mare sau bine formatat nu este automat reprezentativ, curat sau lipsit de suprapuneri între porțiuni.

- [JSONL](https://www.mef-llm-studio.com/ro/wiki/#jsonl)
- [Tokenization](https://www.mef-llm-studio.com/ro/wiki/#tokenization)
- [Antrenare](https://www.mef-llm-studio.com/ro/wiki/#training)
- [Loss de validare](https://www.mef-llm-studio.com/ro/wiki/#validation-loss)

## GPT-2

Un model de limbaj OpenAI și un tokenizer BPE la nivel de octet folosit pe scară largă.

**Ce înseamnă?:** GPT-2 este un model de limbaj Transformer prezentat în 2019. Tokenizerul său publicat mapează octeții UTF-8 la simboluri și aplică îmbinări byte-pair învățate.

**De ce contează?:** Vocabularul său publicat oferă în această aplicație un punct fix de comparație cu tokenizerele antrenate pe textul tău.

**Limită importantă:** Alegerea tokenizerului GPT-2 nu transformă alt model în GPT-2 și nu îi transferă ponderile învățate.

- [Byte-Level](https://www.mef-llm-studio.com/ro/wiki/#byte-level)
- [Tokenization](https://www.mef-llm-studio.com/ro/wiki/#tokenization)
- [Transformers](https://www.mef-llm-studio.com/ro/wiki/#transformers)

## Antrenare

Actualizarea repetată a parametrilor modelului din exemple și un semnal de loss.

**Ce înseamnă?:** La fiecare pas, modelul face o predicție, loss-ul măsoară eroarea, se calculează gradienții, iar optimizatorul actualizează parametrii.

**De ce contează?:** Urmărirea pașilor și a loss-ului leagă comportamentul modelului de datele și obiectivul care l-au format.

**Limită importantă:** Scăderea loss-ului de antrenare nu garantează rezultate mai bune pe exemple noi sau răspunsuri utile.

- [Set de date](https://www.mef-llm-studio.com/ro/wiki/#dataset)
- [Loss](https://www.mef-llm-studio.com/ro/wiki/#loss)
- [Loss de validare](https://www.mef-llm-studio.com/ro/wiki/#validation-loss)
- [Optimizator](https://www.mef-llm-studio.com/ro/wiki/#optimizer)
- [Checkpoint](https://www.mef-llm-studio.com/ro/wiki/#checkpoint)

## Byte-Level

O reprezentare pentru tokenizare care pornește de la octeți, nu de la o listă fixă de caractere.

**Ce înseamnă?:** Tokenizarea byte-level pornește de la octeții textului codificat; byte-level BPE poate apoi îmbina secvențe frecvente de octeți în tokeni mai mari.

**De ce contează?:** Baza de octeți poate reprezenta text dincolo de un vocabular mic de caractere fără un token pentru caracter necunoscut.

**Limită importantă:** Byte-level BPE nu înseamnă că fiecare token final are exact un octet sau un caracter vizibil.

- [GPT-2](https://www.mef-llm-studio.com/ro/wiki/#gpt-2)
- [Tokenization](https://www.mef-llm-studio.com/ro/wiki/#tokenization)

## Loss

O valoare numerică a erorii sub un anumit obiectiv de învățare.

**Ce înseamnă?:** O funcție de loss compară predicțiile cu țintele. În antrenare, gradienții ei ghidează actualizarea parametrilor; modelele next-token folosesc adesea cross-entropy loss.

**De ce contează?:** Curba de loss arată dacă modelul se adaptează la sarcina primită.

**Limită importantă:** Un loss de antrenare mai mic nu măsoară direct adevărul, utilitatea sau performanța pe date noi.

- [Antrenare](https://www.mef-llm-studio.com/ro/wiki/#training)
- [Loss de validare](https://www.mef-llm-studio.com/ro/wiki/#validation-loss)
- [Optimizator](https://www.mef-llm-studio.com/ro/wiki/#optimizer)

## Loss de validare

Loss calculat pe exemple separate, fără actualizarea ponderilor modelului.

**Ce înseamnă?:** Loss-ul de validare aplică obiectivul pe o porțiune separată și lasă parametrii neschimbați. Ajută la compararea checkpoint-urilor și la observarea diferenței față de loss-ul de antrenare.

**De ce contează?:** Oferă o verificare limitată a generalizării dincolo de exemplele folosite la actualizări.

**Limită importantă:** Alegerile repetate pe aceeași porțiune pot supraînvăța și datele de validare; o valoare mică nu garantează răspunsuri bune. Valorile sunt comparabile doar între rulări care folosesc același tokenizer și aceeași porțiune de validare.

- [Loss](https://www.mef-llm-studio.com/ro/wiki/#loss)
- [Antrenare](https://www.mef-llm-studio.com/ro/wiki/#training)
- [Set de date](https://www.mef-llm-studio.com/ro/wiki/#dataset)
- [Checkpoint](https://www.mef-llm-studio.com/ro/wiki/#checkpoint)

## Trecere directă (forward pass)

O rulare a modelului de la tokenii de intrare până la scorurile pentru următorul token.

**Ce înseamnă?:** Într-o trecere directă, ID-urile tokenilor din context trec prin embedding și apoi, pe rând, prin toate blocurile Transformer. La generare, capul de ieșire citește ultima poziție și atribuie un scor fiecărui token din vocabular; fiecare token nou necesită o nouă trecere. Cu un cache KV, trecerile ulterioare procesează doar cel mai nou token și citesc Key-urile și Value-urile anterioare din cache.

**De ce contează?:** Este unitatea de lucru din spatele fiecărui token prezis. Brain Explorer desenează o trecere ca trasee de tokeni prin blocuri.

**Limită importantă:** O trecere calculează scoruri, dar nu alege niciun token; alegerea o face apoi sampling-ul. În timpul inferenței, ponderile nu se modifică.

- [LLM Inference](https://www.mef-llm-studio.com/ro/wiki/#llm-inference)
- [Bloc Transformer](https://www.mef-llm-studio.com/ro/wiki/#transformer-block)
- [Cap de ieșire (output head)](https://www.mef-llm-studio.com/ro/wiki/#output-head)
- [Sampling (eșantionare)](https://www.mef-llm-studio.com/ro/wiki/#sampling)

## Bloc Transformer

Un strat repetat al unui Transformer: Attention, apoi un MLP, ambele adunate la fluxul rezidual.

**Ce înseamnă?:** Un bloc își normalizează intrarea, lasă capetele de atenție să citească din alte poziții și adună rezultatul lor la fluxul rezidual. Apoi normalizează din nou, aplică MLP-ul la fiecare poziție și adună și acest rezultat. Un model suprapune multe blocuri cu aceeași structură, dar cu ponderi proprii, și le execută unul după altul.

**De ce contează?:** Blocurile dau adâncimea modelului: fiecare poate rafina starea pe care o citesc toate blocurile următoare.

**Limită importantă:** Un bloc nu este un Head: capetele de atenție din Multi-Head Attention lucrează în paralel în interiorul unui bloc, în timp ce blocurile se succed. Numărul de blocuri, singur, nu spune nimic despre calitate.

- [Transformers](https://www.mef-llm-studio.com/ro/wiki/#transformers)
- [Attention Head (cap de atenție)](https://www.mef-llm-studio.com/ro/wiki/#attention-head)
- [Multi-Head Attention](https://www.mef-llm-studio.com/ro/wiki/#multi-head-attention)
- [MLP (feed-forward)](https://www.mef-llm-studio.com/ro/wiki/#mlp)
- [Flux rezidual](https://www.mef-llm-studio.com/ro/wiki/#residual-stream)
- [LayerNorm](https://www.mef-llm-studio.com/ro/wiki/#layer-norm)

## Attention Head (cap de atenție)

Unul dintre mai multe calcule de atenție care rulează în paralel în interiorul unui bloc Transformer.

**Ce înseamnă?:** Fiecare Head are propria proiecție Query pe o parte din lățimea vectorului (head_dim dimensiuni). În Multi-Head Attention clasică (GPT-2, propriile Checkpoint-uri) fiecare Head are și propriile proiecții Key și Value. La Grouped-Query Attention (Llama, Qwen2) există mai puține Head-uri Key/Value decât Head-uri Query: mai multe Head-uri Query împart un Key și un Value. Fiecare Head Query își calculează totuși propriile ponderi de atenție, astfel încât Head-uri diferite pot pondera diferit aceleași poziții; ieșirile lor sunt unite și proiectate înapoi în fluxul rezidual.

**De ce contează?:** Head-urile permit unui bloc să urmărească mai multe relații deodată. Brain Explorer arată ponderile unui Head înregistrat; pentru o înregistrare externă, Head Finder compară toate Head-urile unei runde înregistrate.

**Limită importantă:** Head-urile nu sunt blocuri: toate Head-urile unui bloc lucrează în paralel, blocurile lucrează succesiv. Ponderile unui singur Head arată doar o parte din ceea ce adaugă întregul strat Attention.

- [Multi-Head Attention](https://www.mef-llm-studio.com/ro/wiki/#multi-head-attention)
- [Attention Mechanism](https://www.mef-llm-studio.com/ro/wiki/#attention)
- [Bloc Transformer](https://www.mef-llm-studio.com/ro/wiki/#transformer-block)
- [Mască cauzală](https://www.mef-llm-studio.com/ro/wiki/#causal-mask)

## Mască cauzală

Regula conform căreia o poziție poate acorda atenție doar sieși și pozițiilor anterioare.

**Ce înseamnă?:** Înainte de softmax, scorurile de atenție pentru pozițiile ulterioare sunt setate la minus infinit, astfel încât ponderile lor devin exact zero. Într-o matrice de atenție, zona de deasupra diagonalei rămâne astfel goală.

**De ce contează?:** Astfel, un model poate învăța predicția următorului token la toate pozițiile deodată, fără să vadă tokenii pe care trebuie să îi prezică.

**Limită importantă:** O celulă mascată nu este o pondere învățată egală cu zero; poziția respectivă nu poate fi atinsă deloc. Masca nu spune nimic despre care poziții anterioare contează.

- [Attention Mechanism](https://www.mef-llm-studio.com/ro/wiki/#attention)
- [Attention Head (cap de atenție)](https://www.mef-llm-studio.com/ro/wiki/#attention-head)
- [Softmax](https://www.mef-llm-studio.com/ro/wiki/#softmax)
- [Positional Encoding](https://www.mef-llm-studio.com/ro/wiki/#positional-encoding)

## MLP (feed-forward)

Partea unui bloc Transformer care procesează fiecare poziție separat.

**Ce înseamnă?:** MLP-ul lărgește vectorul unei poziții, aplică o funcție neliniară și îl proiectează înapoi la lățimea inițială; rezultatul se adună la fluxul rezidual. În modelele de tip GPT-2 antrenate în această aplicație, lărgirea este de patru ori, iar funcția este GELU. Llama și Qwen2 folosesc un gated MLP (SwiGLU): două proiecții paralele de lărgire, dintre care una trece prin SiLU, se înmulțesc element cu element și apoi sunt proiectate înapoi; lățimea extinsă este intermediate_size.

**De ce contează?:** Attention mută informația între poziții; MLP-ul o transformă în interiorul fiecărei poziții și conține o mare parte din parametri.

**Limită importantă:** MLP-ul nu citește din alte poziții. Într-un bloc, toate pozițiile folosesc aceleași ponderi MLP.

- [Bloc Transformer](https://www.mef-llm-studio.com/ro/wiki/#transformer-block)
- [Flux rezidual](https://www.mef-llm-studio.com/ro/wiki/#residual-stream)
- [Attention Mechanism](https://www.mef-llm-studio.com/ro/wiki/#attention)
- [Transformers](https://www.mef-llm-studio.com/ro/wiki/#transformers)

## Flux rezidual

Vectorul curent al fiecărei poziții, din care citește fiecare bloc și la care adaugă.

**Ce înseamnă?:** În modelele de tip GPT-2, fiecare poziție pornește de la embedding-ul tokenului plus embedding-ul poziției. Attention și MLP calculează contribuții care se adună la acest vector în loc să îl înlocuiască (conexiuni reziduale), astfel încât fluxul poartă informația prin toate blocurile până la normalizarea finală (LayerNorm, sau RMSNorm la Llama/Qwen2).

**De ce contează?:** Adunările fac antrenabile modelele adânci. De aceea Brain Explorer desenează o linie gri cu noduri plus prin toate blocurile.

**Limită importantă:** Fluxul este un vector cu multe dimensiuni; puținele componente afișate într-o vizualizare sunt doar un eșantion, iar un singur număr are rareori o semnificație fixă.

- [Bloc Transformer](https://www.mef-llm-studio.com/ro/wiki/#transformer-block)
- [MLP (feed-forward)](https://www.mef-llm-studio.com/ro/wiki/#mlp)
- [Attention Mechanism](https://www.mef-llm-studio.com/ro/wiki/#attention)
- [LayerNorm](https://www.mef-llm-studio.com/ro/wiki/#layer-norm)
- [Embeddings](https://www.mef-llm-studio.com/ro/wiki/#embeddings)

## LayerNorm

Aduce vectorul unei poziții la o medie și o dispersie standard înainte de calculul următor.

**Ce înseamnă?:** Normalizarea de strat scade media componentelor unui vector, împarte la deviația lor standard și aplică apoi o scalare și o deplasare învățate. Blocurile pre-norm o aplică înainte de Attention și înainte de MLP; un LayerNorm final pregătește ultima stare pentru capul de ieșire. Llama și Qwen2 folosesc în aceleași locuri RMSNorm, care doar împarte la media pătratică și aplică o scalare învățată, fără scăderea mediei și fără deplasare.

**De ce contează?:** Intervalele stabile de valori fac antrenarea fiabilă, chiar dacă fluxul rezidual crește de la bloc la bloc.

**Limită importantă:** LayerNorm lucrează în interiorul vectorului unei singure poziții și nu amestecă pozițiile. Din cauza scalării și deplasării învățate, ieșirea nu are întotdeauna exact media 0 și varianța 1.

- [Bloc Transformer](https://www.mef-llm-studio.com/ro/wiki/#transformer-block)
- [Flux rezidual](https://www.mef-llm-studio.com/ro/wiki/#residual-stream)
- [Cap de ieșire (output head)](https://www.mef-llm-studio.com/ro/wiki/#output-head)

## Cap de ieșire (output head)

Proiecția finală care transformă ultima stare într-un scor pentru fiecare token din vocabular.

**Ce înseamnă?:** După normalizarea finală (LayerNorm, sau RMSNorm la Llama/Qwen2), capul de ieșire înmulțește starea unei poziții cu o matrice care are câte un rând pentru fiecare token din vocabular; la generare se citește doar ultima poziție. Rezultatul sunt logiții. Multe modele de tip GPT leagă această matrice de embedding-ul tokenilor; aplicația oferă acest lucru ca opțiune de model.

**De ce contează?:** Aici vectorul intern al modelului devine o predicție despre tokeni concreți.

**Limită importantă:** În ciuda numelui, capul de ieșire nu este un Attention Head. Atribuie scoruri tokenilor, dar nu alege niciunul; alegerea o face sampling-ul.

- [Logits](https://www.mef-llm-studio.com/ro/wiki/#logits)
- [Softmax](https://www.mef-llm-studio.com/ro/wiki/#softmax)
- [LayerNorm](https://www.mef-llm-studio.com/ro/wiki/#layer-norm)
- [Embeddings](https://www.mef-llm-studio.com/ro/wiki/#embeddings)
- [Attention Head (cap de atenție)](https://www.mef-llm-studio.com/ro/wiki/#attention-head)

## Logits

Scoruri brute, nenormalizate, pentru fiecare posibil token următor.

**Ce înseamnă?:** Capul de ieșire produce câte un număr real pentru fiecare token din vocabular. O valoare mai mare înseamnă mai probabil, dar valorile pot fi negative și nu au o sumă fixă; softmax le transformă în probabilități.

**De ce contează?:** Temperatura și filtrele acționează asupra logiților, deci ei sunt punctul de pornire al oricărei decizii de sampling.

**Limită importantă:** Un logit nu este o probabilitate, iar diferențele dintre logiți contează mai mult decât valorile lor absolute.

- [Cap de ieșire (output head)](https://www.mef-llm-studio.com/ro/wiki/#output-head)
- [Softmax](https://www.mef-llm-studio.com/ro/wiki/#softmax)
- [Temperatură](https://www.mef-llm-studio.com/ro/wiki/#temperature)
- [Sampling (eșantionare)](https://www.mef-llm-studio.com/ro/wiki/#sampling)

## Softmax

Transformă o listă de scoruri în probabilități pozitive care însumează unu.

**Ce înseamnă?:** Softmax aplică funcția exponențială fiecărui scor și împarte la suma tuturor exponențialelor. Scorurile mai mari primesc cote mai mari, iar adunarea aceleiași constante la toate scorurile nu schimbă nimic. Transformerele îl folosesc pentru ponderile de atenție și pentru probabilitățile următorului token.

**De ce contează?:** Face scorurile comparabile ca proporții; exact asta arată barele de probabilitate și arcele de atenție.

**Limită importantă:** Probabilitățile softmax descriu distribuția modelului, nu șansa ca o afirmație să fie adevărată.

- [Logits](https://www.mef-llm-studio.com/ro/wiki/#logits)
- [Attention Mechanism](https://www.mef-llm-studio.com/ro/wiki/#attention)
- [Temperatură](https://www.mef-llm-studio.com/ro/wiki/#temperature)
- [Mască cauzală](https://www.mef-llm-studio.com/ro/wiki/#causal-mask)

## Sampling (eșantionare)

Alegerea următorului token din distribuția de probabilitate a modelului.

**Ce înseamnă?:** După temperatură și filtre opționale precum Top-k și Top-p, următorul token este extras aleatoriu, proporțional cu probabilitățile rămase. Decodarea greedy ia în schimb mereu tokenul cel mai probabil, ceea ce corespunde temperaturii 0.

**De ce contează?:** Același model, cu aceeași intrare, poate produce continuări diferite; setările de sampling controlează cât de variate și cât de riscante sunt.

**Limită importantă:** Sampling-ul nu schimbă nici ceea ce a învățat modelul, nici scorurile lui. Un token extras nu este automat cel mai bun sau unul corect.

- [Temperatură](https://www.mef-llm-studio.com/ro/wiki/#temperature)
- [Top-k](https://www.mef-llm-studio.com/ro/wiki/#top-k)
- [Top-p](https://www.mef-llm-studio.com/ro/wiki/#top-p)
- [Seed](https://www.mef-llm-studio.com/ro/wiki/#seed)
- [Softmax](https://www.mef-llm-studio.com/ro/wiki/#softmax)
- [Logits](https://www.mef-llm-studio.com/ro/wiki/#logits)

## Temperatură

Împarte logiții înainte de sampling: sub 1 distribuția devine mai ascuțită, peste 1 mai plată.

**Ce înseamnă?:** Logiții sunt împărțiți la temperatură înainte de softmax. Sub 1 distribuția devine mai ascuțită, iar tokenii probabili devin și mai probabili; peste 1 devine mai plată, iar tokenii improbabili câștigă probabilitate; temperatura 0 alege mereu tokenul cel mai probabil.

**De ce contează?:** Este principalul reglaj între text previzibil și text variat.

**Limită importantă:** Temperatura schimbă distribuția selecției, nu scorurile sau cunoștințele modelului.

- [Sampling (eșantionare)](https://www.mef-llm-studio.com/ro/wiki/#sampling)
- [Logits](https://www.mef-llm-studio.com/ro/wiki/#logits)
- [Softmax](https://www.mef-llm-studio.com/ro/wiki/#softmax)
- [Top-k](https://www.mef-llm-studio.com/ro/wiki/#top-k)
- [Top-p](https://www.mef-llm-studio.com/ro/wiki/#top-p)

## Top-k

Un filtru de sampling care păstrează doar cei mai probabili k tokeni.

**Ce înseamnă?:** Toți tokenii din afara celor mai mari k scoruri sunt eliminați înainte de extragere, iar probabilitățile rămase sunt normalizate din nou. În această aplicație, k = 0 dezactivează filtrul; el se aplică înainte de Top-p.

**De ce contează?:** Taie coada lungă de tokeni improbabili care pot deraia o continuare.

**Limită importantă:** Un k fix ignoră cum este distribuită probabilitatea: uneori k tokeni sunt prea mulți, alteori prea puțini.

- [Top-p](https://www.mef-llm-studio.com/ro/wiki/#top-p)
- [Sampling (eșantionare)](https://www.mef-llm-studio.com/ro/wiki/#sampling)
- [Temperatură](https://www.mef-llm-studio.com/ro/wiki/#temperature)

## Top-p

Un filtru de sampling care păstrează cel mai mic set de tokeni care împreună ating probabilitatea p.

**Ce înseamnă?:** Tokenii sunt sortați după probabilitate și păstrați până când probabilitatea lor cumulată atinge p; restul sunt eliminați înainte de extragere. Tokenul cel mai probabil rămâne mereu, iar p = 1 păstrează toți tokenii.

**De ce contează?:** Spre deosebire de Top-k, se adaptează distribuției: puțini candidați când modelul este sigur, mai mulți când este nesigur.

**Limită importantă:** Top-p limitează masa de probabilitate din care se extrage, nu calitatea continuării.

- [Top-k](https://www.mef-llm-studio.com/ro/wiki/#top-k)
- [Sampling (eșantionare)](https://www.mef-llm-studio.com/ro/wiki/#sampling)
- [Temperatură](https://www.mef-llm-studio.com/ro/wiki/#temperature)
- [Softmax](https://www.mef-llm-studio.com/ro/wiki/#softmax)

## Seed

Valoarea de pornire a unui generator de numere pseudoaleatoare.

**Ce înseamnă?:** Același seed, cu același cod, model, aceleași setări și același hardware, repetă aceleași alegeri aleatoare, de exemplu tokenii extrași la sampling sau ordinea exemplelor la antrenare.

**De ce contează?:** Face experimentele repetabile și comparabile.

**Limită importantă:** Un seed nu face un rezultat corect, iar seed-uri egale cu intrări sau setări diferite duc la extrageri diferite. Unele operații pe GPU nu sunt complet deterministe nici cu seed fix.

- [Sampling (eșantionare)](https://www.mef-llm-studio.com/ro/wiki/#sampling)
- [Temperatură](https://www.mef-llm-studio.com/ro/wiki/#temperature)
- [Antrenare](https://www.mef-llm-studio.com/ro/wiki/#training)

## Context

Tokenii pe care un model îi procesează efectiv într-o trecere: intrarea plus tot ce s-a generat.

**Ce înseamnă?:** La generare, contextul crește cu un token pe rundă: întâi tokenii de intrare, apoi tokenii aleși în rundele anterioare. Crește până la fereastra de context; dincolo de ea, modelele proprii ale aplicației păstrează doar ultimii block_size tokeni, iar modelele cu cache KV calculează doar tokenul nou și refolosesc pentru rest Key-urile și Value-urile din cache.

**De ce contează?:** Următorul token depinde doar de context: dacă se schimbă un token din el, se poate schimba orice traseu ulterior.

**Limită importantă:** Contextul nu este fereastra de context. Un context mai lung nu este folosit automat mai bine, iar textul de dincolo de fereastra de context nu ajunge niciodată la model.

- [Context Windows](https://www.mef-llm-studio.com/ro/wiki/#context-windows)
- [Tokenization](https://www.mef-llm-studio.com/ro/wiki/#tokenization)
- [Trecere directă (forward pass)](https://www.mef-llm-studio.com/ro/wiki/#forward-pass)
- [KV Cache](https://www.mef-llm-studio.com/ro/wiki/#kv-cache)

## Embedding de token

Vectorul învățat pe care un model de limbaj îl caută pentru fiecare ID de token, înaintea primului bloc.

**Ce înseamnă?:** Tabelul de embedding are câte un rând de n_embd numere pentru fiecare token din vocabular. Fiecare ID de token din context își selectează rândul; în modelele de tip GPT-2 se adaugă vectorul poziției, iar suma intră în primul bloc.

**De ce contează?:** Transformă ID-urile discrete în numere cu care blocurile pot calcula; tokenii folosiți în mod similar pot primi vectori similari.

**Limită importantă:** Vectorul este învățat și nu are un sens fix de dicționar; singur nu știe nimic despre poziția sau vecinii tokenului.

- [Embeddings](https://www.mef-llm-studio.com/ro/wiki/#embeddings)
- [Tokenization](https://www.mef-llm-studio.com/ro/wiki/#tokenization)
- [Positional Encoding](https://www.mef-llm-studio.com/ro/wiki/#positional-encoding)
- [Flux rezidual](https://www.mef-llm-studio.com/ro/wiki/#residual-stream)

## Model de difuzie

Un generator care învață să inverseze coruperea prin zgomot prin actualizări repetate.

**Ce înseamnă?:** Modelul Vision prezice zgomotul adăugat dintr-o imagine zgomotoasă, un pas temporal de difuzie și o descriere. Generarea pornește de la zgomot și folosește predicțiile în actualizările scheduler-ului.

**De ce contează?:** Explică stările intermediare ale întregii imagini.

**Limită importantă:** Actualizarea de eliminare a zgomotului schimbă imaginea; actualizarea de antrenare schimbă ponderile.

- [Predicția zgomotului](https://www.mef-llm-studio.com/ro/wiki/#noise-prediction)
- [Program de zgomot](https://www.mef-llm-studio.com/ro/wiki/#noise-schedule)
- [Difuzie latentă](https://www.mef-llm-studio.com/ro/wiki/#latent-diffusion)

## Pas temporal de difuzie

Un indice care identifică nivelul de zgomot primit de model.

**Ce înseamnă?:** Modelul Vision primește un pas temporal împreună cu imaginea zgomotoasă. Exemplele de antrenare pot avea pași diferiți; generarea parcurge programul de difuzie.

**De ce contează?:** Separă nivelul de zgomot de numărul actualizărilor optimizatorului.

**Limită importantă:** Nu reprezintă timpul real scurs sau contorul pașilor de antrenare.

- [Program de zgomot](https://www.mef-llm-studio.com/ro/wiki/#noise-schedule)
- [Model de difuzie](https://www.mef-llm-studio.com/ro/wiki/#diffusion-model)

## Program de zgomot

Succesiunea intensităților zgomotului într-un proces de difuzie.

**Ce înseamnă?:** Modelul Vision păstrează coeficienți de zgomot pentru pașii temporali. Antrenarea îi folosește pentru amestecarea imaginii cu zgomot; generarea folosește actualizarea inversă corespunzătoare.

**De ce contează?:** Leagă pasul temporal de intensitatea coruperii intrării.

**Limită importantă:** Diferă de programul ratei de învățare, care controlează actualizările ponderilor.

- [Pas temporal de difuzie](https://www.mef-llm-studio.com/ro/wiki/#diffusion-timestep)
- [Predicția zgomotului](https://www.mef-llm-studio.com/ro/wiki/#noise-prediction)

## Descriere a imaginii

Un text asociat unei imagini pentru condiționarea modelului.

**Ce înseamnă?:** Vision asociază fiecărei imagini o descriere a conținutului vizibil. Modelul mic mediază embedding-uri învățate pentru octeți UTF-8 ca să condiționeze predicția zgomotului.

**De ce contează?:** Descrierile consecvente leagă variațiile vizuale de text.

**Limită importantă:** Encoder-ul mic pentru octeți diferă de encoder-ul textual al modelului preantrenat.

- [Set de date](https://www.mef-llm-studio.com/ro/wiki/#dataset)
- [Tokenization](https://www.mef-llm-studio.com/ro/wiki/#tokenization)
- [Model de difuzie](https://www.mef-llm-studio.com/ro/wiki/#diffusion-model)

## Predicția zgomotului

Estimarea componentei de zgomot dintr-o imagine coruptă sau stare latentă.

**Ce înseamnă?:** Trainer-ul Vision adaugă zgomot aleator unei imagini. Modelul îl prezice din imagine, descriere și pas temporal; MSE compară predicția cu zgomotul cunoscut.

**De ce contează?:** Ținta este disponibilă automat deoarece codul o creează.

**Limită importantă:** Predicția este zgomot, nu o imagine finală sau o etichetă de obiect.

- [Model de difuzie](https://www.mef-llm-studio.com/ro/wiki/#diffusion-model)
- [Eroare pătratică medie](https://www.mef-llm-studio.com/ro/wiki/#mse)
- [Pas temporal de difuzie](https://www.mef-llm-studio.com/ro/wiki/#diffusion-timestep)

## Eroare pătratică medie

Media diferențelor pătratice dintre valorile prezise și cele țintă.

**Ce înseamnă?:** MSE ridică fiecare eroare la pătrat și calculează media. Vision o aplică zgomotului prezis și adăugat, pentru batch-ul de antrenare și pentru validare.

**De ce contează?:** Produce un obiectiv scalar din multe erori numerice.

**Limită importantă:** Scala depinde de reprezentarea țintei; nu este un scor al calității vizuale percepute.

- [Loss](https://www.mef-llm-studio.com/ro/wiki/#loss)
- [Predicția zgomotului](https://www.mef-llm-studio.com/ro/wiki/#noise-prediction)
- [Loss de validare](https://www.mef-llm-studio.com/ro/wiki/#validation-loss)

## Difuzie latentă

Difuzie într-o reprezentare comprimată a imaginii, nu direct în pixeli RGB.

**Ce înseamnă?:** Modelul Vision preantrenat actualizează o stare latentă. Decoder-ul VAE o transformă în previzualizări. Trainer-ul mic propriu actualizează stări în spațiul pixelilor.

**De ce contează?:** Explică diferența dintre previzualizare și starea procesată de model.

**Limită importantă:** Componentele latente nu sunt pixeli RGB sau obiecte numite individual.

- [Model de difuzie](https://www.mef-llm-studio.com/ro/wiki/#diffusion-model)
- [Autoencoder variațional](https://www.mef-llm-studio.com/ro/wiki/#vae)
- [Predicția zgomotului](https://www.mef-llm-studio.com/ro/wiki/#noise-prediction)

## Autoencoder variațional

Un model encoder-decoder care învață o reprezentare comprimată probabilistică.

**Ce înseamnă?:** Un VAE codifică imagini într-o distribuție latentă și decodează reprezentări în imagini. Vision folosește decoder-ul modelului de pornire pentru afișarea stărilor latente înregistrate.

**De ce contează?:** Leagă stările comprimate de imaginile vizibile.

**Limită importantă:** Decodarea poate modifica sau pierde detalii; trainer-ul mic în spațiul pixelilor nu are VAE.

- [Difuzie latentă](https://www.mef-llm-studio.com/ro/wiki/#latent-diffusion)
- [Embeddings](https://www.mef-llm-studio.com/ro/wiki/#embeddings)

## U-Net

O rețea cu reducere și creștere a rezoluției și conexiuni între niveluri corespunzătoare.

**Ce înseamnă?:** Modelele U-Net combină caracteristici ample de la rezoluții reduse cu detalii transmise prin conexiuni skip. Modelul Vision mic are o cale convoluțională compactă de reducere și creștere cu o conexiune skip.

**De ce contează?:** Explică îmbinarea caracteristicilor la scări spațiale diferite.

**Limită importantă:** Un U-Net nu trebuie să conțină attention; etapele sale nu sunt blocuri Transformer.

- [Model de difuzie](https://www.mef-llm-studio.com/ro/wiki/#diffusion-model)
- [Predicția zgomotului](https://www.mef-llm-studio.com/ro/wiki/#noise-prediction)

## Classifier-free guidance

Combină predicții condiționate și necondiționate pentru a regla influența descrierii.

**Ce înseamnă?:** Calea Vision preantrenată combină predicții cu și fără condiționare textuală folosind intensitatea ghidării. Modelul mic în spațiul pixelilor nu oferă acest control.

**De ce contează?:** Leagă setarea ghidării de condiționarea textuală la generare.

**Limită importantă:** Ghidarea mai puternică nu îmbunătățește neapărat calitatea și nu este temperatura de eșantionare.

- [Difuzie latentă](https://www.mef-llm-studio.com/ro/wiki/#latent-diffusion)
- [Descriere a imaginii](https://www.mef-llm-studio.com/ro/wiki/#image-caption)
- [Predicția zgomotului](https://www.mef-llm-studio.com/ro/wiki/#noise-prediction)

## Cross-attention

Attention în care pozițiile imaginii citesc vectorii de tokenuri ai encoderului de text.

**Ce înseamnă?:** În U-Net-ul Stable Diffusion, straturile cross-attention permit fiecărei poziții spațiale a imaginii latente să cântărească tokenurile promptului: query-urile vin din caracteristicile imaginii, key-urile și value-urile din ieșirea encoderului de text. Vision Explorer arată la fiecare pas ponderile unui strat cross-attention înregistrat.

**De ce contează?:** Arată unde în imagine poate promptul să orienteze predicția în timpul eliminării zgomotului.

**Limită importantă:** Ponderile arată ce citește un strat din prompt, nu de ce apare ceva; contribuie și alte straturi și head-uri.

- [Attention Mechanism](https://www.mef-llm-studio.com/ro/wiki/#attention)
- [U-Net](https://www.mef-llm-studio.com/ro/wiki/#u-net)
- [Encoder de text (CLIP)](https://www.mef-llm-studio.com/ro/wiki/#text-encoder)
- [Classifier-free guidance](https://www.mef-llm-studio.com/ro/wiki/#classifier-free-guidance)

## Scheduler (sampler)

Regula care transformă zgomotul prezis la fiecare pas în starea următoare, mai puțin zgomotoasă.

**Ce înseamnă?:** Un scheduler de difuzie stabilește șirul pașilor de timp și, la fiecare pas, combină starea zgomotoasă curentă cu predicția de zgomot a modelului în starea următoare. Modelele Vision preantrenate folosesc PNDM; fiecare pas înregistrat arată starea dinainte, zgomotul prezis și schimbarea.

**De ce contează?:** Explică de ce același model poate da imagini diferite cu alt scheduler sau alt număr de pași.

**Limită importantă:** Un scheduler nu are ponderi antrenate proprii și nu decide ce se desenează.

- [Program de zgomot](https://www.mef-llm-studio.com/ro/wiki/#noise-schedule)
- [Pas temporal de difuzie](https://www.mef-llm-studio.com/ro/wiki/#diffusion-timestep)
- [Predicția zgomotului](https://www.mef-llm-studio.com/ro/wiki/#noise-prediction)
- [Model de difuzie](https://www.mef-llm-studio.com/ro/wiki/#diffusion-model)

## Encoder de text (CLIP)

Rețeaua care transformă tokenurile promptului în vectori citiți de denoiserul imaginii.

**Ce înseamnă?:** Stable Diffusion împarte promptul în cel mult 77 de tokenuri, completează restul și le trece printr-un encoder de text CLIP. Vectorii săi de ieșire sunt key-urile și value-urile cross-attention din U-Net la fiecare pas de eliminare a zgomotului.

**De ce contează?:** Leagă promptul scris de ceea ce poate citi denoiserul în timp ce elimină zgomotul.

**Limită importantă:** Encoderul de text rămâne neschimbat în timpul generării imaginii și nu produce text.

- [Tokenization](https://www.mef-llm-studio.com/ro/wiki/#tokenization)
- [Cross-attention](https://www.mef-llm-studio.com/ro/wiki/#cross-attention)
- [Difuzie latentă](https://www.mef-llm-studio.com/ro/wiki/#latent-diffusion)
- [Classifier-free guidance](https://www.mef-llm-studio.com/ro/wiki/#classifier-free-guidance)

## Encoder vizual

O rețea de imagini preantrenată care transformă o imagine în tokeni pe care un model de limbaj îi poate citi.

**Ce înseamnă?:** În modelele vizual-lingvistice bazate pe encoder, un Vision Transformer precum CLIP sau SigLIP împarte imaginea în patch-uri, le lasă să se urmărească reciproc în ambele direcții și trece rezultatul printr-un adaptor și un proiector către modelul de limbaj, sub formă de tokeni vizuali. Aduce o cunoaștere vizuală prealabilă învățată din colecții mari de perechi imagine-text.

**De ce contează?:** Modelul de limbaj poate folosi imagini încă de la primul pas de antrenare, în loc să învețe să vadă din pixeli bruți.

**Limită importantă:** Aceasta este partea de imagine a modelelor care înțeleg imagini. În Stable Diffusion, encoderul de text CLIP citește promptul, nu o imagine.

- [Vision-Language Models](https://www.mef-llm-studio.com/ro/wiki/#vision-language-models)
- [Token de patch de imagine](https://www.mef-llm-studio.com/ro/wiki/#image-patch-token)
- [Model multimodal fără encoder](https://www.mef-llm-studio.com/ro/wiki/#encoder-free-multimodal)
- [Encoder de text (CLIP)](https://www.mef-llm-studio.com/ro/wiki/#text-encoder)
- [Attention Mechanism](https://www.mef-llm-studio.com/ro/wiki/#attention)

## Model multimodal fără encoder

Un model de limbaj care citește direct patch-urile imaginii, fără o rețea de imagini preantrenată separată.

**Ce înseamnă?:** Modelele fără encoder proiectează patch-urile brute ale imaginii direct în modelul de limbaj, care trebuie să învețe singur trăsăturile vizuale. Într-o comparație controlată (Chen et al., 2026), la dimensiunile măsurate au atins un loss multimodal mai mare decât modelele bazate pe encoder, dar loss-ul lor a scăzut mai repede cu mai multă putere de calcul; primele lor straturi au preluat munca unui encoder vizual.

**De ce contează?:** Arată o altă construcție: o singură rețea pentru imagine și text, în loc de encoder vizual plus model de limbaj.

**Limită importantă:** Recuperarea prezisă la aproximativ 10^22 FLOP de antrenare este o extrapolare a legilor de scalare ajustate, mult peste ce antrenează această aplicație.

- [Encoder vizual](https://www.mef-llm-studio.com/ro/wiki/#visual-encoder)
- [Token de patch de imagine](https://www.mef-llm-studio.com/ro/wiki/#image-patch-token)
- [Legi de scalare](https://www.mef-llm-studio.com/ro/wiki/#scaling-laws)
- [Vision-Language Models](https://www.mef-llm-studio.com/ro/wiki/#vision-language-models)
- [Bloc Transformer](https://www.mef-llm-studio.com/ro/wiki/#transformer-block)

## Token de patch de imagine

Un pătrat mic dintr-o imagine transformat într-un vector, ca un transformer să trateze imaginea ca secvență.

**Ce înseamnă?:** Imaginea este împărțită în patch-uri de dimensiune fixă, de exemplu 16×16 pixeli; fiecare patch este aplatizat și proiectat la lățimea modelului, rezultând un token pe patch. În cadrul unei imagini, acești tokeni au voie adesea să se urmărească reciproc în ambele direcții, spre deosebire de tokenii de text sub o mască cauzală.

**De ce contează?:** Permite imaginilor să folosească același mecanism de tokeni și attention ca textul.

**Limită importantă:** Un token de patch conține pixeli, nu un cuvânt; înseamnă doar ce învață rețeaua din el.

- [Tokenization](https://www.mef-llm-studio.com/ro/wiki/#tokenization)
- [Embedding de token](https://www.mef-llm-studio.com/ro/wiki/#token-embedding)
- [Mască cauzală](https://www.mef-llm-studio.com/ro/wiki/#causal-mask)
- [Encoder vizual](https://www.mef-llm-studio.com/ro/wiki/#visual-encoder)
- [Model multimodal fără encoder](https://www.mef-llm-studio.com/ro/wiki/#encoder-free-multimodal)

## Legi de scalare

Reguli ajustate pentru cum scade loss-ul pe măsură ce cresc modelul, datele de antrenare și calculul.

**Ce înseamnă?:** Legile de scalare descriu loss-ul de validare ca lege de putere a calculului de antrenare, a dimensiunii modelului și a numărului de tokeni, ajustate pe multe rulări mai mici. Metoda Chinchilla antrenează modele de dimensiuni diferite cu același buget de calcul (profiluri IsoFLOP) pentru a găsi împărțirea optimă între parametri și tokeni.

**De ce contează?:** Permite prezicerea rulărilor mari din cele mici și compararea arhitecturilor la același calcul.

**Limită importantă:** O lege ajustată descrie intervalul măsurat; tot ce depășește acest interval este o extrapolare și poate fi greșit.

- [Antrenare](https://www.mef-llm-studio.com/ro/wiki/#training)
- [Loss](https://www.mef-llm-studio.com/ro/wiki/#loss)
- [Loss de validare](https://www.mef-llm-studio.com/ro/wiki/#validation-loss)
- [Model multimodal fără encoder](https://www.mef-llm-studio.com/ro/wiki/#encoder-free-multimodal)

## Tokenuri de culoare RGB444

O paletă cu 4.096 de culori: un ID de token pentru fiecare culoare de pixel.

**Ce înseamnă?:** RGB444 folosește patru biți pentru fiecare canal roșu, verde și albastru. Pentru valori 0–15: ID = roșu × 256 + verde × 16 + albastru. Canalele afișate se înmulțesc cu 17. Modelul pentru forme prezice aceste ID-uri pentru fiecare rând al imaginii.

**De ce contează?:** Tokenizarea imaginilor devine direct reversibilă și inspectabilă fără un codebook învățat.

**Limită importantă:** Un token de culoare nu conține poziția sau identitatea obiectului. O paletă mai mare nu scurtează secvența imaginii.

- [Tokenization](https://www.mef-llm-studio.com/ro/wiki/#tokenization)
- [Descriere a imaginii](https://www.mef-llm-studio.com/ro/wiki/#image-caption)

## Teacher forcing

Antrenarea prezice ținta următoare folosind datele anterioare corecte, nu propria ieșire generată.

**Ce înseamnă?:** În modelul pentru forme, rândul țintă este prezis din descriere, poziție, stare recurentă și rândul anterior corect. La generare se reutilizează propriul rând prezis. Pierderea este entropia încrucișată pentru 4.096 de clase de culoare per pixel.

**De ce contează?:** Explică de ce pierderea poate scădea la antrenare, deși erorile se acumulează la generare.

**Limită importantă:** Nu garantează imagini corecte la generarea liberă. Pixelii aceluiași rând generat sunt condițional independenți.

- [Tokenuri de culoare RGB444](https://www.mef-llm-studio.com/ro/wiki/#rgb444)
- [Antrenare](https://www.mef-llm-studio.com/ro/wiki/#training)
- [Loss](https://www.mef-llm-studio.com/ro/wiki/#loss)

## Rată de învățare

Cât de mult mută optimizatorul ponderile într-un pas.

**Ce înseamnă?:** Rata de învățare scalează fiecare modificare pe care optimizatorul o face ponderilor. Pe pagina de antrenare crește în timpul unui scurt Warmup și apoi scade după o curbă cosinus până la o zecime din valoarea maximă; pe pagina Forme scade după o curbă cosinus până la o zecime sau rămâne constantă.

**De ce contează?:** O rată prea mare face Loss-ul să sară sau să diveargă; una prea mică irosește pași.

**Limită importantă:** Nu există o valoare corectă universal. Depinde de mărimea Batch-ului, de optimizator și de mărimea modelului, iar o valoare bună pentru o rulare este doar un punct de plecare pentru alta.

- [Optimizator](https://www.mef-llm-studio.com/ro/wiki/#optimizer)
- [Pas de antrenare](https://www.mef-llm-studio.com/ro/wiki/#training-step)
- [Mărime Batch](https://www.mef-llm-studio.com/ro/wiki/#batch-size)
- [AdamW](https://www.mef-llm-studio.com/ro/wiki/#adamw)
- [Antrenare](https://www.mef-llm-studio.com/ro/wiki/#training)

## Mărime Batch

Câte exemple mediază un pas înainte ca ponderile să se schimbe.

**Ce înseamnă?:** Un Batch este grupul de exemple al căror Loss este mediat într-un singur gradient și o singură modificare. Pe pagina de antrenare, Batch-ul unui pas se formează din micro batch-uri: micro batch-ul este cât încape deodată pe placă, iar acumularea gradientului adună micro batch-uri până la mărimea planificată a pasului. Pe pagina Forme, mărimea Batch-ului este numărul de imagini per pas.

**De ce contează?:** Batch-urile mai mari dau un gradient mai stabil per pas, dar costă memorie și timp; împreună cu pașii stabilesc câte date vede o rulare.

**Limită importantă:** Un Batch mai mare nu este automat mai bun, iar o altă mărime cere de obicei altă rată de învățare. Micro batch-ul schimbă viteza și memoria, nu mărimea unui pas.

- [Pas de antrenare](https://www.mef-llm-studio.com/ro/wiki/#training-step)
- [Epoch](https://www.mef-llm-studio.com/ro/wiki/#epoch)
- [Rată de învățare](https://www.mef-llm-studio.com/ro/wiki/#learning-rate)
- [Antrenare](https://www.mef-llm-studio.com/ro/wiki/#training)

## Pas de antrenare

O actualizare a ponderilor: un Batch, un Loss, un gradient, o modificare a optimizatorului.

**Ce înseamnă?:** Un pas trece un Batch prin model, calculează Loss-ul, propagă gradientul înapoi și lasă optimizatorul să modifice ponderile o dată. Contorul de pași al unei rulări numără aceste modificări; checkpoint-urile, evaluările și evoluția ratei de învățare se raportează la el.

**De ce contează?:** Pașii sunt ceasul unei rulări: durata, intervalul de salvare și curbele de Loss se măsoară în pași.

**Limită importantă:** Un pas nu este o Epoch și nici un pas de generare. Cât învață un pas depinde de mărimea Batch-ului și de rata de învățare. Pașii de eliminare a zgomotului din generarea de imagini sunt alt contor.

- [Mărime Batch](https://www.mef-llm-studio.com/ro/wiki/#batch-size)
- [Epoch](https://www.mef-llm-studio.com/ro/wiki/#epoch)
- [Rată de învățare](https://www.mef-llm-studio.com/ro/wiki/#learning-rate)
- [Checkpoint](https://www.mef-llm-studio.com/ro/wiki/#checkpoint)
- [Antrenare](https://www.mef-llm-studio.com/ro/wiki/#training)

## Epoch

O trecere completă a tuturor datelor de antrenare prin model.

**Ce înseamnă?:** O Epoch este completă când fiecare exemplu de antrenare a fost folosit o dată. Cu o mărime fixă a Batch-ului: Epochs ≈ pași × mărime Batch ÷ numărul exemplelor de antrenare. Pagina Forme arată această estimare lângă pași; pagina de antrenare numără în schimb pași și tokeni.

**De ce contează?:** Epochs arată cât de des vede modelul aceleași date, iar asta împinge memorarea pe seturi mici.

**Limită importantă:** Aplicația antrenează după pași, nu după Epochs, deci numărul este o estimare. Mai multe Epochs pe un set mic pot scădea Loss-ul de antrenare în timp ce validarea se înrăutățește.

- [Pas de antrenare](https://www.mef-llm-studio.com/ro/wiki/#training-step)
- [Mărime Batch](https://www.mef-llm-studio.com/ro/wiki/#batch-size)
- [Set de date](https://www.mef-llm-studio.com/ro/wiki/#dataset)
- [Loss de validare](https://www.mef-llm-studio.com/ro/wiki/#validation-loss)

## Gate

Un număr învățat între 0 și 1 care amestecă două surse într-un singur rezultat.

**Ce înseamnă?:** În modelul pentru forme, fiecare pixel calculează un gate g între 0 și 1. Probabilitatea unei culori este g × culoarea numită în descriere plus (1 − g) × propria predicție de culoare a modelului. Explorer-ul arată g ca parte preluată din descriere; dacă descrierea nu numește nicio culoare, gate-ul este închis (0).

**De ce contează?:** Arată dacă culoarea unui pixel a fost preluată din text sau vine din ce a învățat modelul, de exemplu din culoarea rândului de deasupra.

**Limită importantă:** Un gate este o pondere calculată, nu o decizie sau o intenție a modelului. Un gate aproape de 100 % spune de unde vine culoarea, nu că pixelul se află în locul potrivit.

- [Tokenuri de culoare RGB444](https://www.mef-llm-studio.com/ro/wiki/#rgb444)
- [Teacher forcing](https://www.mef-llm-studio.com/ro/wiki/#teacher-forcing)
- [Attention Mechanism](https://www.mef-llm-studio.com/ro/wiki/#attention)
- [Softmax](https://www.mef-llm-studio.com/ro/wiki/#softmax)

## Python

Un limbaj de programare folosit pentru multe instrumente de IA.

**Ce înseamnă?:** Python execută programe. LLM Studio îl folosește în partea de calcul pentru pregătirea datelor și apelarea bibliotecilor precum PyTorch. Interfața Windows este o altă parte a aplicației.

**De ce contează?:** Așa se explică de ce instalarea pregătește un mediu Python și pachete pe lângă aplicație.

**Limită importantă:** Python singur nu este un model antrenat. Nu trebuie să scrii cod Python pentru a folosi traseele de învățare.

- [PyTorch](https://www.mef-llm-studio.com/ro/wiki/#pytorch)
- [NumPy](https://www.mef-llm-studio.com/ro/wiki/#numpy)

## PyTorch

O bibliotecă de instrumente pentru calcule cu rețele neuronale.

**Ce înseamnă?:** PyTorch este o bibliotecă utilizabilă din Python. Calculează cu tensori, oferă componente pentru rețele neuronale și calculează automat derivatele folosite la actualizarea ponderilor în antrenare. LLM Studio o folosește în partea de calcul.

**De ce contează?:** Modelul este arhitectura împreună cu ponderile învățate; PyTorch este instrumentul care execută calculele.

**Limită importantă:** PyTorch nu este un chatbot gata antrenat și nici un model anume. Utilizarea CPU sau GPU depinde de instalare, hardware și fluxul ales.

- [Python](https://www.mef-llm-studio.com/ro/wiki/#python)
- [Tensor](https://www.mef-llm-studio.com/ro/wiki/#tensor)
- [CPU](https://www.mef-llm-studio.com/ro/wiki/#cpu)
- [GPU](https://www.mef-llm-studio.com/ro/wiki/#gpu)
- [CUDA](https://www.mef-llm-studio.com/ro/wiki/#cuda)
- [Optimizator](https://www.mef-llm-studio.com/ro/wiki/#optimizer)

## Tensor

Un tablou de numere cu o formă definită.

**Ce înseamnă?:** În PyTorch, un tensor poate conține un vector de cuvânt, culorile unei imagini sau ponderile unui strat. Forma indică dimensiunea fiecărei axe: 3 × 64 × 64 poate însemna trei canale de culoare ale unei imagini de 64 × 64. Tipul de date stabilește cum se păstrează fiecare număr.

**De ce contează?:** Tensorii leagă grilele colorate și benzile vectoriale din exploratoare de numerele reale din model.

**Limită importantă:** Forma singură nu spune ce înseamnă axele. Trei axe pot reprezenta lucruri diferite în etape de calcul diferite.

- [PyTorch](https://www.mef-llm-studio.com/ro/wiki/#pytorch)
- [NumPy](https://www.mef-llm-studio.com/ro/wiki/#numpy)
- [Embeddings](https://www.mef-llm-studio.com/ro/wiki/#embeddings)
- [Safetensors](https://www.mef-llm-studio.com/ro/wiki/#safetensors)

## CPU

Procesorul principal, de uz general, al calculatorului.

**Ce înseamnă?:** CPU înseamnă Central Processing Unit. Execută programe, organizează date și calculează operații cu tensori. La calculul pe CPU, majoritatea datelor modelului se află în memoria de sistem, numită RAM.

**De ce contează?:** CPU și GPU sunt două locuri posibile pentru calcul. Așa se înțelege de ce o sarcină poate dura mai mult fără placă video.

**Limită importantă:** Suportul CPU din PyTorch nu înseamnă că fiecare funcție a aplicației sau orice model mare este activat pe CPU. Timpul și memoria RAM disponibilă limitează utilizarea.

- [GPU](https://www.mef-llm-studio.com/ro/wiki/#gpu)
- [PyTorch](https://www.mef-llm-studio.com/ro/wiki/#pytorch)

## GPU

Un procesor pentru foarte multe calcule în paralel.

**Ce înseamnă?:** GPU înseamnă Graphics Processing Unit. Multe operații din rețelele neuronale se pot împărți în calcule paralele. Un GPU potrivit le poate accelera; datele modelului și rezultatele intermediare au nevoie de spațiu în memoria video, numită VRAM.

**De ce contează?:** Așa se explică de ce la antrenare contează atât suportul GPU, cât și memoria VRAM liberă.

**Limită importantă:** GPU nu accelerează orice sarcină. Hardware-ul, algoritmii și software-ul trebuie să fie compatibile; RAM și VRAM sunt memorii diferite.

- [CPU](https://www.mef-llm-studio.com/ro/wiki/#cpu)
- [CUDA](https://www.mef-llm-studio.com/ro/wiki/#cuda)
- [PyTorch](https://www.mef-llm-studio.com/ro/wiki/#pytorch)

## CUDA

Platforma software NVIDIA pentru calcul pe GPU-uri NVIDIA compatibile.

**Ce înseamnă?:** CUDA oferă interfețe și instrumente pentru calcule generale pe GPU-uri NVIDIA. Cu o instalare PyTorch compatibilă, operațiile cu tensori rulează pe GPU în loc de CPU. Este necesar un driver NVIDIA compatibil.

**De ce contează?:** Termenul leagă placa video, driverul și varianta PyTorch instalată.

**Limită importantă:** CUDA nu este o placă video și nici un model. Instalarea CPU nu are nevoie de CUDA; orice GPU sau o versiune separată de toolkit nu garantează compatibilitatea.

- [GPU](https://www.mef-llm-studio.com/ro/wiki/#gpu)
- [PyTorch](https://www.mef-llm-studio.com/ro/wiki/#pytorch)
- [CPU](https://www.mef-llm-studio.com/ro/wiki/#cpu)

## NumPy

O bibliotecă Python pentru tablouri numerice și prelucrarea datelor.

**Ce înseamnă?:** NumPy oferă tablouri multidimensionale și operații numerice. Aplicația îl folosește în partea de calcul, inclusiv la pregătirea datelor. Tensorii PyTorch seamănă cu aceste tablouri, dar pot calcula și pe GPU-uri compatibile și pot urmări derivate pentru antrenare.

**De ce contează?:** Așa se deosebesc instrumentele de prelucrare a datelor de bibliotecile pentru modele: ambele lucrează cu numere, dar au sarcini diferite.

**Limită importantă:** Un tablou NumPy nu este o rețea neuronală antrenată. NumPy și PyTorch nu sunt interschimbabile pentru orice operație sau organizare a memoriei.

- [Python](https://www.mef-llm-studio.com/ro/wiki/#python)
- [Tensor](https://www.mef-llm-studio.com/ro/wiki/#tensor)
- [PyTorch](https://www.mef-llm-studio.com/ro/wiki/#pytorch)

## Hugging Face Hub

O platformă pentru fișiere de modele, seturi de date și documentația lor.

**Ce înseamnă?:** Hugging Face operează Hub-ul și dezvoltă biblioteci precum Transformers și Diffusers. Un depozit de model poate conține ponderi, configurație, tokenizer și un Model Card cu descrierea modelului. Modelele descărcate pot rula local cu software potrivit.

**De ce contează?:** Așa se deosebesc sursa descărcării, biblioteca software și modelul propriu-zis.

**Limită importantă:** Prezența pe Hub nu garantează calitatea sau compatibilitatea cu aplicația. Verifică descrierea și condițiile de utilizare; încărcarea locală diferă de apelarea unui API găzduit.

- [Transformers (Hugging Face)](https://www.mef-llm-studio.com/ro/wiki/#transformers-library)
- [Diffusers](https://www.mef-llm-studio.com/ro/wiki/#diffusers)
- [Safetensors](https://www.mef-llm-studio.com/ro/wiki/#safetensors)

## Transformers (Hugging Face)

O bibliotecă pentru încărcarea și rularea arhitecturilor de model acceptate.

**Ce înseamnă?:** Hugging Face Transformers oferă implementări de arhitecturi și instrumente pentru tokenizere, intrări și ieșiri. Aplicația o folosește pentru modelele externe acceptate. Ponderile antrenate sunt fișiere separate.

**De ce contează?:** Transformers poate desemna fie arhitectura generală, fie această bibliotecă software concretă.

**Limită importantă:** Biblioteca nu este ea însăși Qwen sau alt checkpoint. Suportul bibliotecii nu înseamnă automat că orice arhitectură și vizualizare este acceptată în LLM Studio.

- [Transformers](https://www.mef-llm-studio.com/ro/wiki/#transformers)
- [PyTorch](https://www.mef-llm-studio.com/ro/wiki/#pytorch)
- [Hugging Face Hub](https://www.mef-llm-studio.com/ro/wiki/#hugging-face-hub)
- [Tokenization](https://www.mef-llm-studio.com/ro/wiki/#tokenization)

## Diffusers

O bibliotecă de componente pentru modele de difuzie.

**Ce înseamnă?:** Hugging Face Diffusers oferă componente de model, schedulere și pipeline-uri pentru metode de difuzie. Traseul de difuzie din pagina Vision folosește asemenea componente. Un pipeline poate lega encoderul de text, predictorul de zgomot, schedulerul și decoderul de imagine.

**De ce contează?:** Așa se deosebesc biblioteca, modelul de imagine și pașii arătați în Vision Explorer.

**Limită importantă:** Diffusers nu este un model de imagine antrenat anume. Modul Forme cu tokeni de culoare folosește alt traseu de calcul, nu un pipeline Diffusers.

- [PyTorch](https://www.mef-llm-studio.com/ro/wiki/#pytorch)
- [Hugging Face Hub](https://www.mef-llm-studio.com/ro/wiki/#hugging-face-hub)
- [Model de difuzie](https://www.mef-llm-studio.com/ro/wiki/#diffusion-model)

## Safetensors

Un format de fișier pentru tensori, adesea ponderi de model.

**Ce înseamnă?:** Safetensors păstrează tensori cu nume, forme, tipuri de date și valori. Spre deosebire de Python Pickle, citirea formatului nu cere executarea obiectelor Python încorporate. Folosirea ponderilor necesită în continuare arhitectura și configurația potrivite și, în funcție de model, un tokenizer.

**De ce contează?:** Așa se explică de ce un fișier de ponderi descărcat nu ajunge singur și de ce checkpoint-urile trebuie să corespundă tipului de model.

**Limită importantă:** Formatul nu confirmă originea, calitatea sau drepturile de utilizare. Și restul pachetului de model și codul său trebuie verificate.

- [Tensor](https://www.mef-llm-studio.com/ro/wiki/#tensor)
- [PyTorch](https://www.mef-llm-studio.com/ro/wiki/#pytorch)
- [Hugging Face Hub](https://www.mef-llm-studio.com/ro/wiki/#hugging-face-hub)


Contact: support@mef-llm-studio.com