GenAI Wiki
Consultă concepte, explorează legături și propune îmbunătățiri.
Revizia Wiki: 18af578133e8 · JSON
LLM Fundamentals
Fundamente
Ce învață, ce generează și ce nu garantează un model de limbaj mare.
Ce înseamnă?
Un model de limbaj mare estimează probabilități pentru continuări lingvistice pe baza unor parametri învățați. Produce secvențe plauzibile, dar nu deține, prin el însuși, nici autoritatea unei surse actuale și nici o dovadă a adevărului pentru afirmații individuale.
De ce contează?
Fără această imagine de bază, fluența, cunoștințele, raționamentul și verificarea sunt ușor confundate între ele.
Limită importantă
O ieșire care sună probabil nu este automat adevărată și nici trasabilă la o sursă concretă.
Termeni înrudiți
Transformers
Fundamente
O arhitectură care procesează secvențe prin mecanisme de atenție în loc de lanțuri recurente de stări.
Ce înseamnă?
Arhitectura Transformer este compusă din blocuri repetate de atenție și feed-forward. Modelează relațiile dintre pozițiile unei secvențe de intrare și poate fi antrenată cu un grad ridicat de paralelizare.
De ce contează?
Constituie fundamentul tehnic al majorității modelelor de limbaj moderne și al multor modele multimodale.
Limită importantă
Arhitectura nu spune nimic despre corectitudinea, actualitatea sau caracterul autorizat al unui rezultat.
Termeni înrudiți
Attention Mechanism
Fundamente
Fiecare poziție combină pozițiile pe care le poate citi, cu ponderi care însumează 100 %.
Ce înseamnă?
Pentru o poziție Query, atenția evaluează fiecare Key pe care îl poate citi, transformă scorurile în ponderi prin softmax și adună valorile cu aceste ponderi. Fiecare Head Query își calculează propriile ponderi; în modelele de tip GPT-2 fiecare Head are și propriile proiecții Key și Value, iar la Grouped-Query Attention (Llama, Qwen2) mai multe Head-uri Query împart un Head Key/Value.
De ce contează?
Permite modelelor să surprindă referințe la distanță mare și relații dependente de context.
Limită importantă
Ponderile de atenție nu constituie o explicație de încredere și nici o dovadă a utilizării cauzale.
Termeni înrudiți
Multi-Head Attention
Fundamente
Mai multe proiecții de atenție examinează aceeași secvență în paralel.
Ce înseamnă?
Multi-Head Attention împarte reprezentarea în mai multe capete (heads) de atenție învățate. Fiecare cap poate surprinde relații sau proiecții diferite; rezultatele sunt apoi combinate.
De ce contează?
Perspectivele paralele sporesc capacitatea de expresie a unui bloc Transformer.
Limită importantă
Un cap de atenție nu are un rol semantic garantat fix, cu excepția cazului în care acel rol a fost măsurat separat.
Termeni înrudiți
Tokenization
Fundamente
Descompunerea textului în unități discrete pentru model.
Ce înseamnă?
Tokenizarea transformă textul în ID-uri pe care un model le poate procesa. În funcție de metodă, tokenii corespund unor cuvinte, părți de cuvinte, caractere sau octeți.
De ce contează?
Influențează lungimea secvenței, multilingvismul, reprezentarea numerelor și modul în care modelul percepe variantele ortografice.
Limită importantă
Limitele tokenilor sunt limite tehnice și nu automat limite lingvistice sau ontologice.
Termeni înrudiți
Embeddings
Fundamente
Vectori învățați pentru obiecte discrete sau structurate.
Ce înseamnă?
Embedding-urile mapează tokeni, propoziții, documente sau alte obiecte în vectori numerici denși. Vectorii apropiați pot indica o utilizare statistic similară.
De ce contează?
Fac intrările discrete procesabile pentru modelele neurale și stau la baza metodelor de căutare semantică.
Limită importantă
Proximitatea vectorială nu înseamnă identitate, nici adevăr și nici o relație de autoritate.
Termeni înrudiți
Positional Encoding
Fundamente
Informații despre poziția ocupată de un element într-o secvență.
Ce înseamnă?
Deoarece atenția în sine nu cunoaște ordinea, modelele adaugă informație de poziție: modelele de tip GPT-2 adună la fiecare embedding de token un vector de poziție învățat, rotary encoding (RoPE, în Llama și Qwen2) rotește Query-urile și Key-urile în funcție de poziție în interiorul atenției, iar schemele relative ajustează scorurile de atenție. Astfel, modelul poate distinge ordinea și distanța.
De ce contează?
Alegerea metodei influențează generalizarea lungimii și capacitatea de a învăța ordinea relațională.
Limită importantă
Un semnal de poziție poate genera scurtături nedorite atunci când poziția și ținta corelează în timpul antrenării.
Termeni înrudiți
Prompt Engineering
Fundamente
Conceperea sistematică a instrucțiunilor și a contextului furnizat.
Ce înseamnă?
Prompt engineering structurează sarcina, exemplele, formatul de ieșire, constrângerile și contextul, astfel încât un model să răspundă mai fiabil într-un rol dorit.
De ce contează?
Reprezintă o pârghie rapidă pentru adaptarea comportamentului, în special fără antrenare.
Limită importantă
Un prompt bun nu este un mecanism de securitate și nici o garanție a acurateței factuale sau a fidelității față de instrumente.
Termeni înrudiți
Few-Shot Learning
Fundamente
Ghidarea sarcinii prin intermediul câtorva exemple plasate în context.
Ce înseamnă?
În few-shot learning, modelul primește câteva exemple de intrare-ieșire în interiorul promptului și deduce din acestea tiparul dorit pentru cazuri noi.
De ce contează?
Poate transmite formatul și schema sarcinii fără actualizarea ponderilor.
Limită importantă
Exemplele consumă context și pot ancora tipare nedorite sau erori drept șablon.
Termeni înrudiți
Chain-of-Thought
Fundamente
Pași intermediari pe care un model îi generează înainte de sau odată cu răspunsul său.
Ce înseamnă?
Chain-of-thought desemnează raționamente textuale intermediare care pot descompune sarcini complexe în pași mai simpli. Justificările vizibile pot fi utile, dar reprezintă tot text generat de model.
De ce contează?
Tehnica poate îmbunătăți rezolvarea sarcinilor în mai multe etape și face vizibile punctele de eșec.
Limită importantă
Un lanț de gândire plauzibil nu este o dovadă că exact acei pași au fost cauzali la nivel intern sau că sunt corecți faptic.
Termeni înrudiți
RAG
Regăsire & Context
Generarea augmentată prin regăsire combină căutarea cu generarea de text.
Ce înseamnă?
RAG regăsește conținut relevant la momentul rulării și îl furnizează unui generator drept context. Astfel, faptele actuale sau private nu trebuie să rezide în întregime în ponderile modelului.
De ce contează?
Îmbunătățește capacitatea de actualizare și poate permite atribuirea surselor.
Limită importantă
Găsit nu înseamnă validat; contextul nu constituie o dovadă; citarea nu înseamnă că afirmația decurge în mod logic din sursă.
Termeni înrudiți
Vector Databases
Regăsire & Context
Stocare și indexare pentru căutarea pe bază de similaritate peste vectori.
Ce înseamnă?
O bază de date vectorială stochează embedding-uri împreună cu identificatori și metadate, găsind intrări printr-o măsură de distanță sau similaritate.
De ce contează?
Face practică și eficientă căutarea semantică peste colecții mari de date.
Limită importantă
Indexul determină doar proximitatea, nu validitatea, actualitatea, drepturile sau absența contradicțiilor.
Termeni înrudiți
Semantic Search
Regăsire & Context
Căutare după proximitatea sensului, nu doar după șiruri de caractere identice.
Ce înseamnă?
Căutarea semantică codifică interogarea și conținutul în reprezentări vectoriale și ordonează candidații pe baza apropierii modelate a semnificației.
De ce contează?
Găsește conținut parafrazat sau înrudit conceptual pe care o căutare pură după cuvinte-cheie îl omite.
Limită importantă
Proximitatea semantică poate livra cu încredere candidați greșiți și necesită delimitări clare de domeniu și autoritate.
Termeni înrudiți
Hybrid Search
Regăsire & Context
O combinație între căutarea lexicală și cea semantică.
Ce înseamnă?
Căutarea hibridă combină potrivirile exacte sau bazate pe termeni cu similaritatea bazată pe embedding-uri, fuzionând listele de rezultate prin reguli sau reordonare.
De ce contează?
Acoperă atât denumiri și coduri precise, cât și variații lingvistice.
Limită importantă
Fuziunea necesită o calibrare bine definită; două scoruri provenite din spații diferite nu sunt comparabile automat.
Termeni înrudiți
Reranking
Regăsire & Context
O a doua etapă de sortare, mai precisă, pentru candidații deja găsiți.
Ce înseamnă?
Un modul de reranking recalculează scorurile unui set restrâns de candidați folosind mai mult context sau un model mai puternic. Optimizează ordinea, nu acoperirea inițială.
De ce contează?
Poate aduce dovezile relevante mai devreme în listă și reduce volumul de date activ transferat.
Limită importantă
Un modul de reranking nu poate recupera un candidat omis și nu trebuie să confunde poziția în clasament cu acceptarea conținutului.
Termeni înrudiți
Chunking Strategies
Regăsire & Context
Modul în care sursele sunt împărțite în secțiuni ce pot fi regăsite.
Ce înseamnă?
Segmentarea (chunking) împarte documentele în unități de regăsire după lungime, propoziții, paragrafe, structură sau limite semantice.
De ce contează?
Împărțirea stabilește dacă este inclus suficient context fără a dilua căutarea cu blocuri prea mari.
Limită importantă
Un fragment (chunk) nu trebuie să-și piardă intervalele sursă, versiunea și vecinătatea textuală; altfel, proveniența ulterioară devine doar aproximativă.
Termeni înrudiți
Context Windows
Regăsire & Context
Secvența maximă de intrare activă pentru un apel al modelului.
Ce înseamnă?
Fereastra de context include instrucțiunea de sistem, intrarea utilizatorului, exemplele, conținutul regăsit și ieșirile anterioare pe care un model le poate lua în considerare într-un singur apel.
De ce contează?
Limitează cantitatea de informație activă, costul și timpul de execuție, influențând ce conținut poate fi procesat simultan.
Limită importantă
Un context mai mare nu garantează o utilizare mai bună; conținutul irelevant sau contradictoriu poate degrada performanța.
Termeni înrudiți
Function Calling
Agenți & Interfețe
Un model propune argumente structurate de apel pentru o funcție declarată.
Ce înseamnă?
Function calling permite unui model să înțeleagă descrierea unei interfețe și să formuleze un bloc de argumente conform cu o schemă.
De ce contează?
Creează o punte lizibilă automat între limbajul natural și codul de program.
Limită importantă
Argumentele conforme cu schema nu sunt automat logice, sigure sau autorizate.
Termeni înrudiți
Tool Calling
Agenți & Interfețe
Un model propune utilizarea unei capabilități externe.
Ce înseamnă?
Tool calling extinde apelarea de funcții cu acțiuni externe concrete, cum ar fi căutarea, accesul la baze de date, execuția de cod sau operațiuni de business.
De ce contează?
Permite unui model de limbaj să obțină informații sau să producă efecte în sisteme reale.
Limită importantă
Propunerea modelului nu trebuie să constituie niciodată singură autorizarea de execuție; erorile, rezultatele parțiale și efectele secundare necesită contracte proprii.
Termeni înrudiți
AI Agents
Agenți & Interfețe
Sisteme care urmăresc obiective de-a lungul mai multor pași de model și instrumente.
Ce înseamnă?
Un agent AI combină deciziile modelului, starea, instrumentele și o logică de control pentru a lucra la o sarcină de-a lungul mai multor etape.
De ce contează?
Agenții pot rezolva sarcini dinamice în care pasul următor reiese abia din rezultatul anterior.
Limită importantă
O autonomie mai mare amplifică lanțurile de erori și efectele secundare; o buclă de execuție nu ține loc de guvernanță.
Termeni înrudiți
Agentic Workflows
Agenți & Interfețe
Structură de flux explicită pentru pași și decizii agentice.
Ce înseamnă?
Fluxurile de lucru agentice organizează apelurile de modele, instrumentele, verificările, reîncercările și transferurile într-un proces controlat.
De ce contează?
Un flux de lucru permite delimitarea autonomiei și favorizează componente specializate în locul unei bucle infinite neclare.
Limită importantă
Un flux grafic nu demonstrează o autoritate corectă sau o gestionare validă a erorilor; fiecare tranziție are nevoie de semantică precisă.
Termeni înrudiți
Memory Systems
Agenți & Interfețe
Stare persistentă sau adiacentă execuției, situată în afara contextului modelului.
Ce înseamnă?
Sistemele de memorie stochează conversații, observații, fapte, stări de lucru sau rezumate dincolo de apelurile individuale ale modelului.
De ce contează?
Asigură continuitate și reduc nevoia de a reintroduce întreaga istorie în prompt.
Limită importantă
Stocat nu înseamnă adevărat; amintirile au nevoie de proveniență, versiune, validitate și reguli de ștergere sau revocare.
Termeni înrudiți
Multi-Agent Systems
Agenți & Interfețe
Mai multe roluri distincte de agenți colaborează la aceeași sarcină.
Ce înseamnă?
Sistemele multi-agent distribuie planificarea, cercetarea, analiza critică sau execuția între mai mulți actori bazați pe modele sau reguli, cu căi de comunicare definite.
De ce contează?
Specializarea și verificarea încrucișată pot structura sarcini complexe de lucru.
Limită importantă
Acordul dintre mai multe modele nu reprezintă un adevăr independent; o amprentă comună din antrenare poate multiplica aceeași eroare.
Termeni înrudiți
MCP
Agenți & Interfețe
Un protocol deschis pentru instrumente, resurse și prompturi între gazde și servere AI.
Ce înseamnă?
Model Context Protocol standardizează comunicarea dintre gazdă, clienți și servere specializate. Serverele pot oferi resurse, instrumente și prompturi clar declarate; capabilitățile sunt negociate explicit.
De ce contează?
Reduce integrările proprietare punct-la-punct și face serviciile specializate ușor combinabile.
Limită importantă
MCP standardizează transportul și suprafața de capabilități, nu adevărul, autorizarea instrumentelor sau calitatea dovezilor.
Termeni înrudiți
Structured Outputs
Agenți & Interfețe
Ieșiri ale modelului care respectă o schemă fixă, lizibilă automat.
Ce înseamnă?
Ieșirile structurate constrâng răspunsul la câmpuri, tipuri și valori permise, de obicei prin JSON Schema, gramatici formale sau decodare constrânsă.
De ce contează?
Fac ieșirile validabile și reduc ambiguitățile la parsare.
Limită importantă
Valid structural nu înseamnă corect semantic; un obiect perfect valid poate conține valori complet eronate.
Termeni înrudiți
Optimizator
Antrenare & Adaptare
Un algoritm care actualizează parametrii modelului în timpul antrenării.
Ce înseamnă?
Un optimizator folosește gradienții și o rată de învățare pentru a actualiza parametrii modelului. Metodele diferă prin modul în care combină gradienții anteriori, scalează actualizările individuale și aplică weight decay.
De ce contează?
Alegerea optimizatorului influențează direct stabilitatea antrenării, viteza de convergență și overhead-ul de memorie.
Limită importantă
Un optimizator nu stabilește obiectivul de antrenare și nici nu garantează generalizarea. Această aplicație folosește în prezent AdamW și nu oferă o selecție a optimizatorului.
Termeni înrudiți
SGD
Antrenare & Adaptare
Coborârea stochastică pe gradient actualizează ponderile pe baza gradienților unor batch-uri eșantionate.
Ce înseamnă?
SGD simplu scade din fiecare parametru gradientul scalat cu rata de învățare. Momentum este o variantă opțională care duce mai departe o parte din actualizările anterioare.
De ce contează?
Regula simplă de actualizare face ușor de urmărit comportamentul optimizatorului și efectul ratei de învățare.
Limită importantă
SGD simplu are puțină stare persistentă, dar poate necesita o alegere atentă a ratei de învățare. Este un concept de comparație, nu un optimizator selectabil în această aplicație.
Termeni înrudiți
https://docs.pytorch.org/docs/stable/generated/torch.optim.SGD.html
RMSprop
Antrenare & Adaptare
O actualizare adaptivă scalată printr-o medie mobilă a gradienților pătrați.
Ce înseamnă?
RMSprop urmărește pentru fiecare parametru gradienții pătrați recenți și împarte gradientul la estimarea rădăcinii lor, cu un mic termen de stabilizare.
De ce contează?
Ilustrează de ce parametri diferiți pot primi dimensiuni efective diferite ale pasului.
Limită importantă
Pașii adaptivi nu garantează un loss de validare mai bun și nu previn overfitting-ul. RMSprop nu poate fi selectat în această aplicație.
Termeni înrudiți
https://docs.pytorch.org/docs/stable/generated/torch.optim.RMSprop.html
Adam
Antrenare & Adaptare
Adaptive Moment Estimation combină medii mobile ale gradienților și ale pătratelor lor.
Ce înseamnă?
Adam păstrează pentru fiecare parametru o estimare a primului moment al gradienților și una a celui de-al doilea moment al gradienților pătrați, apoi le folosește pentru a scala actualizările.
De ce contează?
Explică memoria suplimentară pentru starea optimizatorului afișată la planificarea unei rulări.
Limită importantă
Adam folosește stare suplimentară și nu asigură prin el însuși generalizarea. Aplicația folosește AdamW, nu o opțiune Adam selectabilă.
Termeni înrudiți
https://docs.pytorch.org/docs/stable/generated/torch.optim.Adam.html
AdamW
Antrenare & Adaptare
Decuplează weight decay de actualizarea pe bază de gradient pentru a păstra puterea reală de regularizare.
Ce înseamnă?
AdamW păstrează estimările primului și celui de-al doilea moment din Adam, dar aplică weight decay separat de actualizarea adaptivă pe bază de gradient. Această aplicație folosește AdamW pentru preantrenare și fine-tuning.
De ce contează?
Este optimizatorul standard pentru antrenarea modelelor de limbaj mari moderne.
Limită importantă
Aplicația nu oferă o selecție a optimizatorului; de asemenea, AdamW și weight decay necesită validare și nu garantează rezultate mai bune.
Termeni înrudiți
https://docs.pytorch.org/docs/stable/generated/torch.optim.AdamW.html
Fine-Tuning
Antrenare & Adaptare
Antrenarea suplimentară a unui model preantrenat pentru o sarcină sau un domeniu.
Ce înseamnă?
La fine-tuning, parametrii modelului sunt actualizați cu un set de date mai mic și țintit. Acest lucru poate specializa comportamentul, formatul sau performanța într-un domeniu.
De ce contează?
Mută tiparele recurente din prompt în ponderi.
Limită importantă
Fine-tuning-ul nu garantează nici generalizarea, nici fapte actuale și poate deplasa capabilitățile existente.
Termeni înrudiți
SFT
Antrenare & Adaptare
Supervised Fine-Tuning deprinde comportamentul conversațional prin perechi demonstrative.
Ce înseamnă?
SFT continuă antrenarea unui model preantrenat pe exemple de conversații. În această aplicație, întreaga conversație oferă context, dar numai tokenii de răspuns ai asistentului contribuie la loss-ul de antrenare.
De ce contează?
Transformă un model de bază de continuare a textului într-un asistent conversațional utilizabil.
Limită importantă
SFT învață din exemplele pe care le primește; nu dovedește acuratețea factuală, alinierea la preferințe sau siguranța. Această aplicație actualizează direct ponderile modelului și nu antrenează adaptori LoRA.
Termeni înrudiți
LoRA & QLoRA
Antrenare & Adaptare
Adaptare cu puțini parametri prin matrici suplimentare de rang redus.
Ce înseamnă?
LoRA îngheață matricea de bază și antrenează adaptori mici low-rank. QLoRA combină acest principiu cu un model de bază cuantizat pentru a reduce și mai mult consumul de memorie.
De ce contează?
Face posibilă adaptarea modelelor mari cu semnificativ mai puțini parametri antrenabili.
Limită importantă
Mai puțini parametri antrenabili nu înseamnă automat un necesar mai mic de date, o calitate mai bună sau o evaluare mai simplă. LoRA și QLoRA nu sunt oferite în această aplicație, care antrenează toate ponderile propriilor checkpoint-uri GPT.
Termeni înrudiți
PEFT
Antrenare & Adaptare
O familie de metode eficiente din punctul de vedere al parametrilor pentru fine-tuning.
Ce înseamnă?
Parameter-Efficient Fine-Tuning modifică doar o mică parte din parametri suplimentari sau selectați, cum ar fi adaptori, prefixe sau matrici low-rank.
De ce contează?
Reduce costurile de memorie și calcul pentru numeroase variante specializate.
Limită importantă
PEFT este o metodă de antrenare, nu o garanție de izolare între roluri sau de combinare sigură a adaptorilor. Această aplicație nu oferă nicio metodă PEFT; pretraining, SFT, DPO și ORPO actualizează toate ponderile checkpoint-urilor GPT antrenate în aplicație.
Termeni înrudiți
RLHF
Antrenare & Adaptare
Optimizarea unui model cu feedback învățat din preferințele umane.
Ce înseamnă?
Reinforcement Learning from Human Feedback folosește comparații umane, un model de preferințe sau de recompensă și optimizare ulterioară pentru a alinia răspunsurile la comportamentul dorit.
De ce contează?
Poate îmbunătăți utilitatea, stilul și comportamentul de siguranță.
Limită importantă
Preferința nu reprezintă adevăr; reward hacking-ul și standardele neclare ale evaluatorilor rămân posibile. RLHF cu un model de recompensă nu este implementat în această aplicație; modurile DPO și ORPO învață în schimb din perechi de preferințe offline.
Termeni înrudiți
DPO
Antrenare & Adaptare
Optimizare directă către răspunsurile preferate în defavoarea celor respinse.
Ce înseamnă?
Direct Preference Optimization antrenează un model direct din perechi de răspunsuri, fără a rula o buclă clasică separată de RL cu un model propriu de recompensă.
De ce contează?
Simplifică alinierea la preferințe în comparație cu multe fluxuri RLHF.
Limită importantă
Metoda moștenește calitatea, bias-ul și ontologia datelor de preferință și nu dovedește fidelitate factuală.
Termeni înrudiți
Knowledge Distillation
Antrenare & Adaptare
Un model mai mic învață din ieșirile sau reprezentările unui profesor mai mare.
Ce înseamnă?
Distilarea transferă comportamentul unui model profesor către un elev mai mic, de exemplu prin soft targets, logits, stări intermediare sau exemple de antrenare generate.
De ce contează?
Poate produce specialiști compacți care rulează local și cu costuri reduse.
Limită importantă
Elevul preia și erorile sau unghiurile moarte ale profesorului; acordul cu profesorul nu constituie o referință absolută independentă. Distilarea nu este un mod de antrenare în această aplicație.
Termeni înrudiți
Quantization
Antrenare & Adaptare
Reprezentarea ponderilor sau activărilor folosind mai puțini biți.
Ce înseamnă?
Cuantizarea reduce precizia numerică, de exemplu de la FP32 la FP16, INT8 sau formate inferioare. Poate avea loc după antrenare sau în timpul antrenării conștiente de cuantizare.
De ce contează?
Reduce utilizarea memoriei și poate accelera inferența.
Limită importantă
Erorile de rotunjire și scalare pot genera eșecuri funcționale rare pe care o valoare agregată le maschează.
Termeni înrudiți
Model Compression
Antrenare & Adaptare
Metode pentru reducerea dimensiunii modelului sau a costului de calcul.
Ce înseamnă?
Compresia modelelor cuprinde cuantizarea, pruning-ul, distilarea, factorizarea și alte metode care fac un model mai mic sau mai rapid.
De ce contează?
Permite execuția locală și un consum redus de resurse operaționale.
Limită importantă
Compresia este un succes numai dacă axele relevante de calitate și siguranță sunt conservate.
Termeni înrudiți
LLM Inference
Inferență & Operațiuni
Rularea unui model antrenat pe intrări noi.
Ce înseamnă?
Inferența cuprinde preprocesarea, trecerile directe (forward passes), decodarea, gestionarea cache-ului și pregătirea ieșirii pentru un model deja antrenat.
De ce contează?
Aici se manifestă latența reală, consumul de memorie, paralelizarea și comportamentul la execuție.
Limită importantă
Un checkpoint încărcat corect și o decodare deterministă nu dovedesc corectitudinea factuală.
Termeni înrudiți
KV Cache
Inferență & Operațiuni
Un cache pentru cheile și valorile de atenție ale tokenilor deja procesați.
Ce înseamnă?
În decodarea autoregresivă, cache-ul KV stochează stările calculate de cheie și valoare, astfel încât tokenii anteriori să nu fie reprocesați complet pentru fiecare token nou.
De ce contează?
Accelerează considerabil generarea, dar poate ocupa un volum mare de memorie.
Limită importantă
Cache-ul stochează Key-uri și Value-uri, nu ponderi de atenție sau ieșiri: fiecare Query nou calculează ponderi noi peste toate Key-urile din cache. La Grouped-Query Attention păstrează o intrare pentru fiecare Head Key/Value, nu pentru fiecare Head Query. Decodarea cu cache și recalcularea completă a contextului sunt pe hârtie același calcul, dar nu identice la bit; în bfloat16 logits-urile pot diferi vizibil.
Termeni înrudiți
Speculative Decoding
Inferență & Operațiuni
O schiță rapidă este verificată în bloc de către un model țintă.
Ce înseamnă?
În decodarea speculativă, o metodă mai mică sau mai ieftină generează mai multe propuneri de tokeni pe care modelul țintă le acceptă sau le respinge în mai puțini pași.
De ce contează?
Poate reduce latența fără a modifica intenționat distribuția modelului țintă.
Limită importantă
Metoda accelerează decodarea, dar nu rezolvă problemele de evidență, halucinație sau autoritate.
Termeni înrudiți
LLM Serving
Inferență & Operațiuni
Furnizarea modelelor ca servicii de execuție robuste și planificabile.
Ce înseamnă?
LLM serving acoperă încărcarea modelelor, coada de cereri, batching-ul, paralelizarea, timeout-urile, streaming-ul, scalarea și izolarea erorilor.
De ce contează?
Determină dacă un model este reproductibil și operabil sub sarcină reală.
Limită importantă
Un debit ridicat nu constituie o dovadă de calitate sau guvernanță; servirea nu trebuie să ocolească filtrele de domeniu.
Termeni înrudiți
vLLM
Inferență & Operațiuni
Un stack specializat open-source de servire pentru sarcini ridicate de LLM.
Ce înseamnă?
vLLM este un engine de inferență și servire cu gestionare a memoriei pentru cache-ul KV, continuous batching și căi de execuție optimizate suplimentar.
De ce contează?
Poate oferi un debit ridicat pentru modele și componente hardware compatibile.
Limită importantă
vLLM reprezintă infrastructură: nu definește nici proveniența dovezilor, nici rolul modelului, autoritatea instrumentelor sau validarea afirmațiilor.
Termeni înrudiți
Model Routing
Inferență & Operațiuni
O cerere este direcționată către un model sau o cale adecvată.
Ce înseamnă?
Rutarea modelelor selectează între mai multe modele și căi de procesare pe baza sarcinii, domeniului, riscului, costului sau disponibilității.
De ce contează?
Permite specializarea și împiedică fiecare cerere să consume resursele celui mai scump monolit.
Limită importantă
Un ruter greșit poate genera rezultate plauzibile intern într-un domeniu greșit; starea necunoscută trebuie să fie o ieșire distinctă.
Termeni înrudiți
Guardrails
Calitate & Guvernanță
Delimitări tehnice pentru intrări, ieșiri și acțiuni.
Ce înseamnă?
Mecanismele de guardrails verifică sau limitează formatele, conținutul, valorile, permisiunile și acțiunile înainte, în timpul sau după apelul unui model.
De ce contează?
Reduc clase de erori clar identificate și pot impune comportamente de tip fail-closed.
Limită importantă
Un filtru plasat în aval nu poate inventa retroactiv dovezi lipsă și nu trebuie să devină decidentul ascuns al sistemului.
Termeni înrudiți
AI Safety
Calitate & Guvernanță
Identificarea, limitarea și demonstrarea riscurilor sistemelor de inteligență artificială.
Ce înseamnă?
Siguranța AI cuprinde metode tehnice și organizaționale împotriva comportamentelor eronate, utilizării abuzive, pierderii controlului, efectelor secundare nedorite și deciziilor nesustenabile.
De ce contează?
Capabilitatea fără delimitarea consecințelor nu este un obiectiv suficient în sisteme reale.
Limită importantă
Siguranța nu este o metrică unică și nici un prompt; depinde de contextul sistemului, drepturi și costurile erorilor.
Termeni înrudiți
Hallucination Detection
Calitate & Guvernanță
Verificarea dacă o afirmație generată este lipsită de suport sau contradictorie.
Ce înseamnă?
Detectarea halucinațiilor compară ieșirile cu surse, reguli, alte modele sau semnale de consistență pentru a semnala afirmațiile nefondate.
De ce contează?
Poate face vizibile erorile înainte de livrarea răspunsului.
Limită importantă
Un detector este el însuși predispus la erori; detectarea a posteriori nu înlocuiește o arhitectură care leagă afirmațiile de dovezi.
Termeni înrudiți
LLM Evaluation
Calitate & Guvernanță
Măsurarea sistematică a comportamentului modelului pe suprafețe definite.
Ce înseamnă?
Evaluarea LLM combină seturi de date, metrici, baseline-uri, judecăți umane, contrafactuale și teste de robustețe pentru întrebări clar delimitate.
De ce contează?
Doar o evaluare delimitată separă progresul de impresie, noroc de prompt sau adaptare la teste.
Limită importantă
O metrică agregată poate ascunde eșecuri funcționale, cozile rezultatelor pe seed-uri, acoperirea și abținerile.
Termeni înrudiți
Prompt Evaluation
Calitate & Guvernanță
Compararea variantelor de prompt pe o sarcină și un eșantion fixe.
Ce înseamnă?
Evaluarea prompturilor măsoară modul în care instrucțiunile, exemplele și cerințele de format afectează ieșirile definite.
De ce contează?
Previne considerarea unor exemple atractive izolate drept îmbunătățire generală.
Limită importantă
Calitatea promptului este doar o componentă; schimbările de furnizor, model, date și decodor trebuie analizate separat.
Termeni înrudiți
Observability
Calitate & Guvernanță
Înțelegerea din datele de rulare a ceea ce a făcut un sistem și unde a eșuat.
Ce înseamnă?
Observabilitatea conectează jurnale structurate, trace-uri, metrici și versiuni de artefacte între componente și cereri.
De ce contează?
Permite investigarea erorilor, costurilor, latenței și a deviațiilor fără a încerca ghicirea execuției după fapt.
Limită importantă
Un jurnal arată un eveniment, dar nu automat justificarea sa funcțională sau semnificația cauzală.
Termeni înrudiți
AI Cost Optimization
Calitate & Guvernanță
Reducerea corelată cu calitatea a costurilor de calcul, memorie și operare.
Ce înseamnă?
Optimizarea costurilor folosește rutare, modele mai mici, batching, caching, cuantizare, sarcini utile limitate și o utilizare mai eficientă a resurselor.
De ce contează?
Decide dacă un sistem este scalabil din punct de vedere economic.
Limită importantă
O ieșire mai mică sau mai ieftină nu este un succes dacă scade acoperirea dovezilor, siguranța pe cazurile limită sau calitatea sarcinii.
Termeni înrudiți
Multimodal AI
Modalitate & Producție
Procesarea comună a mai multor modalități precum text, imagine și audio.
Ce înseamnă?
Sistemele multimodale conectează reprezentări și sarcini peste date de tip text, imagine, audio, video sau date de la senzori.
De ce contează?
Multe decizii din lumea reală nu se bazează exclusiv pe text.
Limită importantă
Fiecare modalitate are propriile erori de măsurare, axe temporale și proveniență; codificarea comună nu elimină aceste limite.
Termeni înrudiți
Vision-Language Models
Modalitate & Producție
Modele pentru sarcini comune de imagine și limbaj.
Ce înseamnă?
Modelele vizual-lingvistice codifică intrările vizuale și limbajul într-un spațiu comun sau cuplat, de exemplu pentru descrieri de imagini, întrebări vizuale sau analiza documentelor.
De ce contează?
Deschid capturile de ecran, diagramele, scanările și scenele reale pentru fluxurile de lucru lingvistice.
Limită importantă
O descriere a unei imagini este o propunere de percepție; nu reprezintă automat o înregistrare sursă dovedită.
Termeni înrudiți
AI Coding Agents
Modalitate & Producție
Agenți care citesc, modifică și testează cod și operează instrumente de dezvoltare.
Ce înseamnă?
Agenții de programare conectează modelele de limbaj cu căutarea în repository, editoare, shell, build, teste și controlul versiunilor.
De ce contează?
Pot lucra la sarcini software în mai mulți pași peste artefacte reale.
Limită importantă
Generarea de cod nu este corectitudine de cod; drepturile, domeniul de aplicare, testele, revizuirea și modificările reversibile rămân necesare.
Termeni înrudiți
Production GenAI Systems
Modalitate & Producție
Întregul serviciu operabil construit în jurul modelelor, datelor, instrumentelor și guvernanței.
Ce înseamnă?
Un sistem GenAI de producție include nu doar un model, ci și versiuni de date și modele, API-uri, identități, cozi de așteptare, monitorizare, teste, rollback, costuri, limite de securitate și procese umane.
De ce contează?
Majoritatea erorilor reale apar la nivelul interfețelor și al stărilor operaționale, nu doar în faza de forward pass.
Limită importantă
O demonstrație cu răspunsuri bune nu este încă un sistem pregătit pentru producție.
Termeni înrudiți
JSON
Fundamente
Un format text pentru valori structurate, precum obiecte și tablouri.
Ce înseamnă?
JSON reprezintă obiecte, tablouri, șiruri de caractere, numere, valori booleene și null printr-o sintaxă compactă, independentă de limbajul de programare.
De ce contează?
Exemplele pentru model, configurațiile și răspunsurile instrumentelor folosesc des JSON deoarece software-ul îi poate interpreta structura.
Limită importantă
Un JSON valid sintactic nu garantează că o înregistrare conține câmpurile sau sensul cerut de o sarcină de antrenare.
Termeni înrudiți
JSONL
Fundamente
Câte o valoare JSON completă pe fiecare linie, adesea câte un exemplu.
Ce înseamnă?
Un fișier JSON Lines este text UTF-8 în care fiecare linie nevidă este, separat, o valoare JSON validă. Extensia .jsonl este uzuală.
De ce contează?
Exemplele pot fi citite și verificate pe rând, fără încărcarea unui tablou JSON mare.
Limită importantă
O linie validă sintactic poate avea totuși o schemă sau un conținut nepotrivit pentru antrenare.
Termeni înrudiți
Checkpoint
Antrenare & Adaptare
O stare a modelului salvată la un anumit pas al antrenării.
Ce înseamnă?
Un checkpoint păstrează parametrii modelului și metadatele care identifică pasul. În această aplicație, un checkpoint din care se poate relua conține și momentele optimizatorului, pasul, poziția în date și starea generatorului aleator (rata de învățare se recalculează din pas); checkpoint-urile 'best' care conțin doar ponderi pot fi folosite, dar nu reluate.
De ce contează?
Poți inspecta și compara stări anterioare, nu doar rezultatul ultimului pas.
Limită importantă
Un checkpoint nu dovedește calitatea modelului și nu este neapărat un pachet portabil pentru inferență.
Termeni înrudiți
https://docs.pytorch.org/tutorials/beginner/saving_loading_models
Set de date
Antrenare & Adaptare
O colecție de exemple pregătite pentru antrenare sau evaluare.
Ce înseamnă?
Un set de date selectează și organizează exemple și țintele așteptate; de multe ori separă porțiunile de antrenare și validare.
De ce contează?
Sursa, acoperirea și împărțirea datelor influențează ce poate învăța modelul și ce măsoară un loss raportat.
Limită importantă
Un set mare sau bine formatat nu este automat reprezentativ, curat sau lipsit de suprapuneri între porțiuni.
Termeni înrudiți
GPT-2
Fundamente
Un model de limbaj OpenAI și un tokenizer BPE la nivel de octet folosit pe scară largă.
Ce înseamnă?
GPT-2 este un model de limbaj Transformer prezentat în 2019. Tokenizerul său publicat mapează octeții UTF-8 la simboluri și aplică îmbinări byte-pair învățate.
De ce contează?
Vocabularul său publicat oferă în această aplicație un punct fix de comparație cu tokenizerele antrenate pe textul tău.
Limită importantă
Alegerea tokenizerului GPT-2 nu transformă alt model în GPT-2 și nu îi transferă ponderile învățate.
Termeni înrudiți
Antrenare
Antrenare & Adaptare
Actualizarea repetată a parametrilor modelului din exemple și un semnal de loss.
Ce înseamnă?
La fiecare pas, modelul face o predicție, loss-ul măsoară eroarea, se calculează gradienții, iar optimizatorul actualizează parametrii.
De ce contează?
Urmărirea pașilor și a loss-ului leagă comportamentul modelului de datele și obiectivul care l-au format.
Limită importantă
Scăderea loss-ului de antrenare nu garantează rezultate mai bune pe exemple noi sau răspunsuri utile.
Termeni înrudiți
https://docs.pytorch.org/tutorials/beginner/basics/optimization_tutorial
Byte-Level
Fundamente
O reprezentare pentru tokenizare care pornește de la octeți, nu de la o listă fixă de caractere.
Ce înseamnă?
Tokenizarea byte-level pornește de la octeții textului codificat; byte-level BPE poate apoi îmbina secvențe frecvente de octeți în tokeni mai mari.
De ce contează?
Baza de octeți poate reprezenta text dincolo de un vocabular mic de caractere fără un token pentru caracter necunoscut.
Limită importantă
Byte-level BPE nu înseamnă că fiecare token final are exact un octet sau un caracter vizibil.
Termeni înrudiți
https://cdn.openai.com/better-language-models/language-models.pdf
Loss
Antrenare & Adaptare
O valoare numerică a erorii sub un anumit obiectiv de învățare.
Ce înseamnă?
O funcție de loss compară predicțiile cu țintele. În antrenare, gradienții ei ghidează actualizarea parametrilor; modelele next-token folosesc adesea cross-entropy loss.
De ce contează?
Curba de loss arată dacă modelul se adaptează la sarcina primită.
Limită importantă
Un loss de antrenare mai mic nu măsoară direct adevărul, utilitatea sau performanța pe date noi.
Termeni înrudiți
https://docs.pytorch.org/tutorials/beginner/basics/optimization_tutorial
Loss de validare
Antrenare & Adaptare
Loss calculat pe exemple separate, fără actualizarea ponderilor modelului.
Ce înseamnă?
Loss-ul de validare aplică obiectivul pe o porțiune separată și lasă parametrii neschimbați. Ajută la compararea checkpoint-urilor și la observarea diferenței față de loss-ul de antrenare.
De ce contează?
Oferă o verificare limitată a generalizării dincolo de exemplele folosite la actualizări.
Limită importantă
Alegerile repetate pe aceeași porțiune pot supraînvăța și datele de validare; o valoare mică nu garantează răspunsuri bune. Valorile sunt comparabile doar între rulări care folosesc același tokenizer și aceeași porțiune de validare.
Termeni înrudiți
https://docs.pytorch.org/tutorials/beginner/introyt/trainingyt
Trecere directă (forward pass)
Fundamente
O rulare a modelului de la tokenii de intrare până la scorurile pentru următorul token.
Ce înseamnă?
Într-o trecere directă, ID-urile tokenilor din context trec prin embedding și apoi, pe rând, prin toate blocurile Transformer. La generare, capul de ieșire citește ultima poziție și atribuie un scor fiecărui token din vocabular; fiecare token nou necesită o nouă trecere. Cu un cache KV, trecerile ulterioare procesează doar cel mai nou token și citesc Key-urile și Value-urile anterioare din cache.
De ce contează?
Este unitatea de lucru din spatele fiecărui token prezis. Brain Explorer desenează o trecere ca trasee de tokeni prin blocuri.
Limită importantă
O trecere calculează scoruri, dar nu alege niciun token; alegerea o face apoi sampling-ul. În timpul inferenței, ponderile nu se modifică.
Termeni înrudiți
Bloc Transformer
Fundamente
Un strat repetat al unui Transformer: Attention, apoi un MLP, ambele adunate la fluxul rezidual.
Ce înseamnă?
Un bloc își normalizează intrarea, lasă capetele de atenție să citească din alte poziții și adună rezultatul lor la fluxul rezidual. Apoi normalizează din nou, aplică MLP-ul la fiecare poziție și adună și acest rezultat. Un model suprapune multe blocuri cu aceeași structură, dar cu ponderi proprii, și le execută unul după altul.
De ce contează?
Blocurile dau adâncimea modelului: fiecare poate rafina starea pe care o citesc toate blocurile următoare.
Limită importantă
Un bloc nu este un Head: capetele de atenție din Multi-Head Attention lucrează în paralel în interiorul unui bloc, în timp ce blocurile se succed. Numărul de blocuri, singur, nu spune nimic despre calitate.
Termeni înrudiți
- Transformers
- Attention Head (cap de atenție)
- Multi-Head Attention
- MLP (feed-forward)
- Flux rezidual
- LayerNorm
Attention Head (cap de atenție)
Fundamente
Unul dintre mai multe calcule de atenție care rulează în paralel în interiorul unui bloc Transformer.
Ce înseamnă?
Fiecare Head are propria proiecție Query pe o parte din lățimea vectorului (head_dim dimensiuni). În Multi-Head Attention clasică (GPT-2, propriile Checkpoint-uri) fiecare Head are și propriile proiecții Key și Value. La Grouped-Query Attention (Llama, Qwen2) există mai puține Head-uri Key/Value decât Head-uri Query: mai multe Head-uri Query împart un Key și un Value. Fiecare Head Query își calculează totuși propriile ponderi de atenție, astfel încât Head-uri diferite pot pondera diferit aceleași poziții; ieșirile lor sunt unite și proiectate înapoi în fluxul rezidual.
De ce contează?
Head-urile permit unui bloc să urmărească mai multe relații deodată. Brain Explorer arată ponderile unui Head înregistrat; pentru o înregistrare externă, Head Finder compară toate Head-urile unei runde înregistrate.
Limită importantă
Head-urile nu sunt blocuri: toate Head-urile unui bloc lucrează în paralel, blocurile lucrează succesiv. Ponderile unui singur Head arată doar o parte din ceea ce adaugă întregul strat Attention.
Termeni înrudiți
Mască cauzală
Fundamente
Regula conform căreia o poziție poate acorda atenție doar sieși și pozițiilor anterioare.
Ce înseamnă?
Înainte de softmax, scorurile de atenție pentru pozițiile ulterioare sunt setate la minus infinit, astfel încât ponderile lor devin exact zero. Într-o matrice de atenție, zona de deasupra diagonalei rămâne astfel goală.
De ce contează?
Astfel, un model poate învăța predicția următorului token la toate pozițiile deodată, fără să vadă tokenii pe care trebuie să îi prezică.
Limită importantă
O celulă mascată nu este o pondere învățată egală cu zero; poziția respectivă nu poate fi atinsă deloc. Masca nu spune nimic despre care poziții anterioare contează.
Termeni înrudiți
MLP (feed-forward)
Fundamente
Partea unui bloc Transformer care procesează fiecare poziție separat.
Ce înseamnă?
MLP-ul lărgește vectorul unei poziții, aplică o funcție neliniară și îl proiectează înapoi la lățimea inițială; rezultatul se adună la fluxul rezidual. În modelele de tip GPT-2 antrenate în această aplicație, lărgirea este de patru ori, iar funcția este GELU. Llama și Qwen2 folosesc un gated MLP (SwiGLU): două proiecții paralele de lărgire, dintre care una trece prin SiLU, se înmulțesc element cu element și apoi sunt proiectate înapoi; lățimea extinsă este intermediate_size.
De ce contează?
Attention mută informația între poziții; MLP-ul o transformă în interiorul fiecărei poziții și conține o mare parte din parametri.
Limită importantă
MLP-ul nu citește din alte poziții. Într-un bloc, toate pozițiile folosesc aceleași ponderi MLP.
Termeni înrudiți
Flux rezidual
Fundamente
Vectorul curent al fiecărei poziții, din care citește fiecare bloc și la care adaugă.
Ce înseamnă?
În modelele de tip GPT-2, fiecare poziție pornește de la embedding-ul tokenului plus embedding-ul poziției. Attention și MLP calculează contribuții care se adună la acest vector în loc să îl înlocuiască (conexiuni reziduale), astfel încât fluxul poartă informația prin toate blocurile până la normalizarea finală (LayerNorm, sau RMSNorm la Llama/Qwen2).
De ce contează?
Adunările fac antrenabile modelele adânci. De aceea Brain Explorer desenează o linie gri cu noduri plus prin toate blocurile.
Limită importantă
Fluxul este un vector cu multe dimensiuni; puținele componente afișate într-o vizualizare sunt doar un eșantion, iar un singur număr are rareori o semnificație fixă.
Termeni înrudiți
LayerNorm
Fundamente
Aduce vectorul unei poziții la o medie și o dispersie standard înainte de calculul următor.
Ce înseamnă?
Normalizarea de strat scade media componentelor unui vector, împarte la deviația lor standard și aplică apoi o scalare și o deplasare învățate. Blocurile pre-norm o aplică înainte de Attention și înainte de MLP; un LayerNorm final pregătește ultima stare pentru capul de ieșire. Llama și Qwen2 folosesc în aceleași locuri RMSNorm, care doar împarte la media pătratică și aplică o scalare învățată, fără scăderea mediei și fără deplasare.
De ce contează?
Intervalele stabile de valori fac antrenarea fiabilă, chiar dacă fluxul rezidual crește de la bloc la bloc.
Limită importantă
LayerNorm lucrează în interiorul vectorului unei singure poziții și nu amestecă pozițiile. Din cauza scalării și deplasării învățate, ieșirea nu are întotdeauna exact media 0 și varianța 1.
Termeni înrudiți
Cap de ieșire (output head)
Fundamente
Proiecția finală care transformă ultima stare într-un scor pentru fiecare token din vocabular.
Ce înseamnă?
După normalizarea finală (LayerNorm, sau RMSNorm la Llama/Qwen2), capul de ieșire înmulțește starea unei poziții cu o matrice care are câte un rând pentru fiecare token din vocabular; la generare se citește doar ultima poziție. Rezultatul sunt logiții. Multe modele de tip GPT leagă această matrice de embedding-ul tokenilor; aplicația oferă acest lucru ca opțiune de model.
De ce contează?
Aici vectorul intern al modelului devine o predicție despre tokeni concreți.
Limită importantă
În ciuda numelui, capul de ieșire nu este un Attention Head. Atribuie scoruri tokenilor, dar nu alege niciunul; alegerea o face sampling-ul.
Termeni înrudiți
Logits
Fundamente
Scoruri brute, nenormalizate, pentru fiecare posibil token următor.
Ce înseamnă?
Capul de ieșire produce câte un număr real pentru fiecare token din vocabular. O valoare mai mare înseamnă mai probabil, dar valorile pot fi negative și nu au o sumă fixă; softmax le transformă în probabilități.
De ce contează?
Temperatura și filtrele acționează asupra logiților, deci ei sunt punctul de pornire al oricărei decizii de sampling.
Limită importantă
Un logit nu este o probabilitate, iar diferențele dintre logiți contează mai mult decât valorile lor absolute.
Termeni înrudiți
Softmax
Fundamente
Transformă o listă de scoruri în probabilități pozitive care însumează unu.
Ce înseamnă?
Softmax aplică funcția exponențială fiecărui scor și împarte la suma tuturor exponențialelor. Scorurile mai mari primesc cote mai mari, iar adunarea aceleiași constante la toate scorurile nu schimbă nimic. Transformerele îl folosesc pentru ponderile de atenție și pentru probabilitățile următorului token.
De ce contează?
Face scorurile comparabile ca proporții; exact asta arată barele de probabilitate și arcele de atenție.
Limită importantă
Probabilitățile softmax descriu distribuția modelului, nu șansa ca o afirmație să fie adevărată.
Termeni înrudiți
https://docs.pytorch.org/docs/stable/generated/torch.nn.functional.softmax.html
Sampling (eșantionare)
Inferență & Operațiuni
Alegerea următorului token din distribuția de probabilitate a modelului.
Ce înseamnă?
După temperatură și filtre opționale precum Top-k și Top-p, următorul token este extras aleatoriu, proporțional cu probabilitățile rămase. Decodarea greedy ia în schimb mereu tokenul cel mai probabil, ceea ce corespunde temperaturii 0.
De ce contează?
Același model, cu aceeași intrare, poate produce continuări diferite; setările de sampling controlează cât de variate și cât de riscante sunt.
Limită importantă
Sampling-ul nu schimbă nici ceea ce a învățat modelul, nici scorurile lui. Un token extras nu este automat cel mai bun sau unul corect.
Termeni înrudiți
Temperatură
Inferență & Operațiuni
Împarte logiții înainte de sampling: sub 1 distribuția devine mai ascuțită, peste 1 mai plată.
Ce înseamnă?
Logiții sunt împărțiți la temperatură înainte de softmax. Sub 1 distribuția devine mai ascuțită, iar tokenii probabili devin și mai probabili; peste 1 devine mai plată, iar tokenii improbabili câștigă probabilitate; temperatura 0 alege mereu tokenul cel mai probabil.
De ce contează?
Este principalul reglaj între text previzibil și text variat.
Limită importantă
Temperatura schimbă distribuția selecției, nu scorurile sau cunoștințele modelului.
Termeni înrudiți
Top-k
Inferență & Operațiuni
Un filtru de sampling care păstrează doar cei mai probabili k tokeni.
Ce înseamnă?
Toți tokenii din afara celor mai mari k scoruri sunt eliminați înainte de extragere, iar probabilitățile rămase sunt normalizate din nou. În această aplicație, k = 0 dezactivează filtrul; el se aplică înainte de Top-p.
De ce contează?
Taie coada lungă de tokeni improbabili care pot deraia o continuare.
Limită importantă
Un k fix ignoră cum este distribuită probabilitatea: uneori k tokeni sunt prea mulți, alteori prea puțini.
Termeni înrudiți
Top-p
Inferență & Operațiuni
Un filtru de sampling care păstrează cel mai mic set de tokeni care împreună ating probabilitatea p.
Ce înseamnă?
Tokenii sunt sortați după probabilitate și păstrați până când probabilitatea lor cumulată atinge p; restul sunt eliminați înainte de extragere. Tokenul cel mai probabil rămâne mereu, iar p = 1 păstrează toți tokenii.
De ce contează?
Spre deosebire de Top-k, se adaptează distribuției: puțini candidați când modelul este sigur, mai mulți când este nesigur.
Limită importantă
Top-p limitează masa de probabilitate din care se extrage, nu calitatea continuării.
Termeni înrudiți
Seed
Inferență & Operațiuni
Valoarea de pornire a unui generator de numere pseudoaleatoare.
Ce înseamnă?
Același seed, cu același cod, model, aceleași setări și același hardware, repetă aceleași alegeri aleatoare, de exemplu tokenii extrași la sampling sau ordinea exemplelor la antrenare.
De ce contează?
Face experimentele repetabile și comparabile.
Limită importantă
Un seed nu face un rezultat corect, iar seed-uri egale cu intrări sau setări diferite duc la extrageri diferite. Unele operații pe GPU nu sunt complet deterministe nici cu seed fix.
Termeni înrudiți
Context
Fundamente
Tokenii pe care un model îi procesează efectiv într-o trecere: intrarea plus tot ce s-a generat.
Ce înseamnă?
La generare, contextul crește cu un token pe rundă: întâi tokenii de intrare, apoi tokenii aleși în rundele anterioare. Crește până la fereastra de context; dincolo de ea, modelele proprii ale aplicației păstrează doar ultimii block_size tokeni, iar modelele cu cache KV calculează doar tokenul nou și refolosesc pentru rest Key-urile și Value-urile din cache.
De ce contează?
Următorul token depinde doar de context: dacă se schimbă un token din el, se poate schimba orice traseu ulterior.
Limită importantă
Contextul nu este fereastra de context. Un context mai lung nu este folosit automat mai bine, iar textul de dincolo de fereastra de context nu ajunge niciodată la model.
Termeni înrudiți
Embedding de token
Fundamente
Vectorul învățat pe care un model de limbaj îl caută pentru fiecare ID de token, înaintea primului bloc.
Ce înseamnă?
Tabelul de embedding are câte un rând de n_embd numere pentru fiecare token din vocabular. Fiecare ID de token din context își selectează rândul; în modelele de tip GPT-2 se adaugă vectorul poziției, iar suma intră în primul bloc.
De ce contează?
Transformă ID-urile discrete în numere cu care blocurile pot calcula; tokenii folosiți în mod similar pot primi vectori similari.
Limită importantă
Vectorul este învățat și nu are un sens fix de dicționar; singur nu știe nimic despre poziția sau vecinii tokenului.
Termeni înrudiți
Model de difuzie
Modalitate & Producție
Un generator care învață să inverseze coruperea prin zgomot prin actualizări repetate.
Ce înseamnă?
Modelul Vision prezice zgomotul adăugat dintr-o imagine zgomotoasă, un pas temporal de difuzie și o descriere. Generarea pornește de la zgomot și folosește predicțiile în actualizările scheduler-ului.
De ce contează?
Explică stările intermediare ale întregii imagini.
Limită importantă
Actualizarea de eliminare a zgomotului schimbă imaginea; actualizarea de antrenare schimbă ponderile.
Termeni înrudiți
Pas temporal de difuzie
Modalitate & Producție
Un indice care identifică nivelul de zgomot primit de model.
Ce înseamnă?
Modelul Vision primește un pas temporal împreună cu imaginea zgomotoasă. Exemplele de antrenare pot avea pași diferiți; generarea parcurge programul de difuzie.
De ce contează?
Separă nivelul de zgomot de numărul actualizărilor optimizatorului.
Limită importantă
Nu reprezintă timpul real scurs sau contorul pașilor de antrenare.
Termeni înrudiți
Program de zgomot
Modalitate & Producție
Succesiunea intensităților zgomotului într-un proces de difuzie.
Ce înseamnă?
Modelul Vision păstrează coeficienți de zgomot pentru pașii temporali. Antrenarea îi folosește pentru amestecarea imaginii cu zgomot; generarea folosește actualizarea inversă corespunzătoare.
De ce contează?
Leagă pasul temporal de intensitatea coruperii intrării.
Limită importantă
Diferă de programul ratei de învățare, care controlează actualizările ponderilor.
Termeni înrudiți
Descriere a imaginii
Modalitate & Producție
Un text asociat unei imagini pentru condiționarea modelului.
Ce înseamnă?
Vision asociază fiecărei imagini o descriere a conținutului vizibil. Modelul mic mediază embedding-uri învățate pentru octeți UTF-8 ca să condiționeze predicția zgomotului.
De ce contează?
Descrierile consecvente leagă variațiile vizuale de text.
Limită importantă
Encoder-ul mic pentru octeți diferă de encoder-ul textual al modelului preantrenat.
Termeni înrudiți
Predicția zgomotului
Modalitate & Producție
Estimarea componentei de zgomot dintr-o imagine coruptă sau stare latentă.
Ce înseamnă?
Trainer-ul Vision adaugă zgomot aleator unei imagini. Modelul îl prezice din imagine, descriere și pas temporal; MSE compară predicția cu zgomotul cunoscut.
De ce contează?
Ținta este disponibilă automat deoarece codul o creează.
Limită importantă
Predicția este zgomot, nu o imagine finală sau o etichetă de obiect.
Termeni înrudiți
Eroare pătratică medie
Modalitate & Producție
Media diferențelor pătratice dintre valorile prezise și cele țintă.
Ce înseamnă?
MSE ridică fiecare eroare la pătrat și calculează media. Vision o aplică zgomotului prezis și adăugat, pentru batch-ul de antrenare și pentru validare.
De ce contează?
Produce un obiectiv scalar din multe erori numerice.
Limită importantă
Scala depinde de reprezentarea țintei; nu este un scor al calității vizuale percepute.
Termeni înrudiți
https://huggingface.co/docs/diffusers/tutorials/basic_training
Difuzie latentă
Modalitate & Producție
Difuzie într-o reprezentare comprimată a imaginii, nu direct în pixeli RGB.
Ce înseamnă?
Modelul Vision preantrenat actualizează o stare latentă. Decoder-ul VAE o transformă în previzualizări. Trainer-ul mic propriu actualizează stări în spațiul pixelilor.
De ce contează?
Explică diferența dintre previzualizare și starea procesată de model.
Limită importantă
Componentele latente nu sunt pixeli RGB sau obiecte numite individual.
Termeni înrudiți
Autoencoder variațional
Modalitate & Producție
Un model encoder-decoder care învață o reprezentare comprimată probabilistică.
Ce înseamnă?
Un VAE codifică imagini într-o distribuție latentă și decodează reprezentări în imagini. Vision folosește decoder-ul modelului de pornire pentru afișarea stărilor latente înregistrate.
De ce contează?
Leagă stările comprimate de imaginile vizibile.
Limită importantă
Decodarea poate modifica sau pierde detalii; trainer-ul mic în spațiul pixelilor nu are VAE.
Termeni înrudiți
U-Net
Modalitate & Producție
O rețea cu reducere și creștere a rezoluției și conexiuni între niveluri corespunzătoare.
Ce înseamnă?
Modelele U-Net combină caracteristici ample de la rezoluții reduse cu detalii transmise prin conexiuni skip. Modelul Vision mic are o cale convoluțională compactă de reducere și creștere cu o conexiune skip.
De ce contează?
Explică îmbinarea caracteristicilor la scări spațiale diferite.
Limită importantă
Un U-Net nu trebuie să conțină attention; etapele sale nu sunt blocuri Transformer.
Termeni înrudiți
Classifier-free guidance
Modalitate & Producție
Combină predicții condiționate și necondiționate pentru a regla influența descrierii.
Ce înseamnă?
Calea Vision preantrenată combină predicții cu și fără condiționare textuală folosind intensitatea ghidării. Modelul mic în spațiul pixelilor nu oferă acest control.
De ce contează?
Leagă setarea ghidării de condiționarea textuală la generare.
Limită importantă
Ghidarea mai puternică nu îmbunătățește neapărat calitatea și nu este temperatura de eșantionare.
Termeni înrudiți
Cross-attention
Modalitate & Producție
Attention în care pozițiile imaginii citesc vectorii de tokenuri ai encoderului de text.
Ce înseamnă?
În U-Net-ul Stable Diffusion, straturile cross-attention permit fiecărei poziții spațiale a imaginii latente să cântărească tokenurile promptului: query-urile vin din caracteristicile imaginii, key-urile și value-urile din ieșirea encoderului de text. Vision Explorer arată la fiecare pas ponderile unui strat cross-attention înregistrat.
De ce contează?
Arată unde în imagine poate promptul să orienteze predicția în timpul eliminării zgomotului.
Limită importantă
Ponderile arată ce citește un strat din prompt, nu de ce apare ceva; contribuie și alte straturi și head-uri.
Termeni înrudiți
Scheduler (sampler)
Modalitate & Producție
Regula care transformă zgomotul prezis la fiecare pas în starea următoare, mai puțin zgomotoasă.
Ce înseamnă?
Un scheduler de difuzie stabilește șirul pașilor de timp și, la fiecare pas, combină starea zgomotoasă curentă cu predicția de zgomot a modelului în starea următoare. Modelele Vision preantrenate folosesc PNDM; fiecare pas înregistrat arată starea dinainte, zgomotul prezis și schimbarea.
De ce contează?
Explică de ce același model poate da imagini diferite cu alt scheduler sau alt număr de pași.
Limită importantă
Un scheduler nu are ponderi antrenate proprii și nu decide ce se desenează.
Termeni înrudiți
Encoder de text (CLIP)
Modalitate & Producție
Rețeaua care transformă tokenurile promptului în vectori citiți de denoiserul imaginii.
Ce înseamnă?
Stable Diffusion împarte promptul în cel mult 77 de tokenuri, completează restul și le trece printr-un encoder de text CLIP. Vectorii săi de ieșire sunt key-urile și value-urile cross-attention din U-Net la fiecare pas de eliminare a zgomotului.
De ce contează?
Leagă promptul scris de ceea ce poate citi denoiserul în timp ce elimină zgomotul.
Limită importantă
Encoderul de text rămâne neschimbat în timpul generării imaginii și nu produce text.
Termeni înrudiți
Encoder vizual
Modalitate & Producție
O rețea de imagini preantrenată care transformă o imagine în tokeni pe care un model de limbaj îi poate citi.
Ce înseamnă?
În modelele vizual-lingvistice bazate pe encoder, un Vision Transformer precum CLIP sau SigLIP împarte imaginea în patch-uri, le lasă să se urmărească reciproc în ambele direcții și trece rezultatul printr-un adaptor și un proiector către modelul de limbaj, sub formă de tokeni vizuali. Aduce o cunoaștere vizuală prealabilă învățată din colecții mari de perechi imagine-text.
De ce contează?
Modelul de limbaj poate folosi imagini încă de la primul pas de antrenare, în loc să învețe să vadă din pixeli bruți.
Limită importantă
Aceasta este partea de imagine a modelelor care înțeleg imagini. În Stable Diffusion, encoderul de text CLIP citește promptul, nu o imagine.
Termeni înrudiți
- Vision-Language Models
- Token de patch de imagine
- Model multimodal fără encoder
- Encoder de text (CLIP)
- Attention Mechanism
Model multimodal fără encoder
Modalitate & Producție
Un model de limbaj care citește direct patch-urile imaginii, fără o rețea de imagini preantrenată separată.
Ce înseamnă?
Modelele fără encoder proiectează patch-urile brute ale imaginii direct în modelul de limbaj, care trebuie să învețe singur trăsăturile vizuale. Într-o comparație controlată (Chen et al., 2026), la dimensiunile măsurate au atins un loss multimodal mai mare decât modelele bazate pe encoder, dar loss-ul lor a scăzut mai repede cu mai multă putere de calcul; primele lor straturi au preluat munca unui encoder vizual.
De ce contează?
Arată o altă construcție: o singură rețea pentru imagine și text, în loc de encoder vizual plus model de limbaj.
Limită importantă
Recuperarea prezisă la aproximativ 10^22 FLOP de antrenare este o extrapolare a legilor de scalare ajustate, mult peste ce antrenează această aplicație.
Termeni înrudiți
Token de patch de imagine
Modalitate & Producție
Un pătrat mic dintr-o imagine transformat într-un vector, ca un transformer să trateze imaginea ca secvență.
Ce înseamnă?
Imaginea este împărțită în patch-uri de dimensiune fixă, de exemplu 16×16 pixeli; fiecare patch este aplatizat și proiectat la lățimea modelului, rezultând un token pe patch. În cadrul unei imagini, acești tokeni au voie adesea să se urmărească reciproc în ambele direcții, spre deosebire de tokenii de text sub o mască cauzală.
De ce contează?
Permite imaginilor să folosească același mecanism de tokeni și attention ca textul.
Limită importantă
Un token de patch conține pixeli, nu un cuvânt; înseamnă doar ce învață rețeaua din el.
Termeni înrudiți
Legi de scalare
Antrenare & Adaptare
Reguli ajustate pentru cum scade loss-ul pe măsură ce cresc modelul, datele de antrenare și calculul.
Ce înseamnă?
Legile de scalare descriu loss-ul de validare ca lege de putere a calculului de antrenare, a dimensiunii modelului și a numărului de tokeni, ajustate pe multe rulări mai mici. Metoda Chinchilla antrenează modele de dimensiuni diferite cu același buget de calcul (profiluri IsoFLOP) pentru a găsi împărțirea optimă între parametri și tokeni.
De ce contează?
Permite prezicerea rulărilor mari din cele mici și compararea arhitecturilor la același calcul.
Limită importantă
O lege ajustată descrie intervalul măsurat; tot ce depășește acest interval este o extrapolare și poate fi greșit.
Termeni înrudiți
Tokenuri de culoare RGB444
Modalitate & Producție
O paletă cu 4.096 de culori: un ID de token pentru fiecare culoare de pixel.
Ce înseamnă?
RGB444 folosește patru biți pentru fiecare canal roșu, verde și albastru. Pentru valori 0–15: ID = roșu × 256 + verde × 16 + albastru. Canalele afișate se înmulțesc cu 17. Modelul pentru forme prezice aceste ID-uri pentru fiecare rând al imaginii.
De ce contează?
Tokenizarea imaginilor devine direct reversibilă și inspectabilă fără un codebook învățat.
Limită importantă
Un token de culoare nu conține poziția sau identitatea obiectului. O paletă mai mare nu scurtează secvența imaginii.
Termeni înrudiți
Teacher forcing
Antrenare & Adaptare
Antrenarea prezice ținta următoare folosind datele anterioare corecte, nu propria ieșire generată.
Ce înseamnă?
În modelul pentru forme, rândul țintă este prezis din descriere, poziție, stare recurentă și rândul anterior corect. La generare se reutilizează propriul rând prezis. Pierderea este entropia încrucișată pentru 4.096 de clase de culoare per pixel.
De ce contează?
Explică de ce pierderea poate scădea la antrenare, deși erorile se acumulează la generare.
Limită importantă
Nu garantează imagini corecte la generarea liberă. Pixelii aceluiași rând generat sunt condițional independenți.
Termeni înrudiți
Rată de învățare
Antrenare & Adaptare
Cât de mult mută optimizatorul ponderile într-un pas.
Ce înseamnă?
Rata de învățare scalează fiecare modificare pe care optimizatorul o face ponderilor. Pe pagina de antrenare crește în timpul unui scurt Warmup și apoi scade după o curbă cosinus până la o zecime din valoarea maximă; pe pagina Forme scade după o curbă cosinus până la o zecime sau rămâne constantă.
De ce contează?
O rată prea mare face Loss-ul să sară sau să diveargă; una prea mică irosește pași.
Limită importantă
Nu există o valoare corectă universal. Depinde de mărimea Batch-ului, de optimizator și de mărimea modelului, iar o valoare bună pentru o rulare este doar un punct de plecare pentru alta.
Termeni înrudiți
Mărime Batch
Antrenare & Adaptare
Câte exemple mediază un pas înainte ca ponderile să se schimbe.
Ce înseamnă?
Un Batch este grupul de exemple al căror Loss este mediat într-un singur gradient și o singură modificare. Pe pagina de antrenare, Batch-ul unui pas se formează din micro batch-uri: micro batch-ul este cât încape deodată pe placă, iar acumularea gradientului adună micro batch-uri până la mărimea planificată a pasului. Pe pagina Forme, mărimea Batch-ului este numărul de imagini per pas.
De ce contează?
Batch-urile mai mari dau un gradient mai stabil per pas, dar costă memorie și timp; împreună cu pașii stabilesc câte date vede o rulare.
Limită importantă
Un Batch mai mare nu este automat mai bun, iar o altă mărime cere de obicei altă rată de învățare. Micro batch-ul schimbă viteza și memoria, nu mărimea unui pas.
Termeni înrudiți
Pas de antrenare
Antrenare & Adaptare
O actualizare a ponderilor: un Batch, un Loss, un gradient, o modificare a optimizatorului.
Ce înseamnă?
Un pas trece un Batch prin model, calculează Loss-ul, propagă gradientul înapoi și lasă optimizatorul să modifice ponderile o dată. Contorul de pași al unei rulări numără aceste modificări; checkpoint-urile, evaluările și evoluția ratei de învățare se raportează la el.
De ce contează?
Pașii sunt ceasul unei rulări: durata, intervalul de salvare și curbele de Loss se măsoară în pași.
Limită importantă
Un pas nu este o Epoch și nici un pas de generare. Cât învață un pas depinde de mărimea Batch-ului și de rata de învățare. Pașii de eliminare a zgomotului din generarea de imagini sunt alt contor.
Termeni înrudiți
Epoch
Antrenare & Adaptare
O trecere completă a tuturor datelor de antrenare prin model.
Ce înseamnă?
O Epoch este completă când fiecare exemplu de antrenare a fost folosit o dată. Cu o mărime fixă a Batch-ului: Epochs ≈ pași × mărime Batch ÷ numărul exemplelor de antrenare. Pagina Forme arată această estimare lângă pași; pagina de antrenare numără în schimb pași și tokeni.
De ce contează?
Epochs arată cât de des vede modelul aceleași date, iar asta împinge memorarea pe seturi mici.
Limită importantă
Aplicația antrenează după pași, nu după Epochs, deci numărul este o estimare. Mai multe Epochs pe un set mic pot scădea Loss-ul de antrenare în timp ce validarea se înrăutățește.
Termeni înrudiți
Gate
Antrenare & Adaptare
Un număr învățat între 0 și 1 care amestecă două surse într-un singur rezultat.
Ce înseamnă?
În modelul pentru forme, fiecare pixel calculează un gate g între 0 și 1. Probabilitatea unei culori este g × culoarea numită în descriere plus (1 − g) × propria predicție de culoare a modelului. Explorer-ul arată g ca parte preluată din descriere; dacă descrierea nu numește nicio culoare, gate-ul este închis (0).
De ce contează?
Arată dacă culoarea unui pixel a fost preluată din text sau vine din ce a învățat modelul, de exemplu din culoarea rândului de deasupra.
Limită importantă
Un gate este o pondere calculată, nu o decizie sau o intenție a modelului. Un gate aproape de 100 % spune de unde vine culoarea, nu că pixelul se află în locul potrivit.
Termeni înrudiți
Python
Inferență & Operațiuni
Un limbaj de programare folosit pentru multe instrumente de IA.
Ce înseamnă?
Python execută programe. LLM Studio îl folosește în partea de calcul pentru pregătirea datelor și apelarea bibliotecilor precum PyTorch. Interfața Windows este o altă parte a aplicației.
De ce contează?
Așa se explică de ce instalarea pregătește un mediu Python și pachete pe lângă aplicație.
Limită importantă
Python singur nu este un model antrenat. Nu trebuie să scrii cod Python pentru a folosi traseele de învățare.
Termeni înrudiți
PyTorch
Inferență & Operațiuni
O bibliotecă de instrumente pentru calcule cu rețele neuronale.
Ce înseamnă?
PyTorch este o bibliotecă utilizabilă din Python. Calculează cu tensori, oferă componente pentru rețele neuronale și calculează automat derivatele folosite la actualizarea ponderilor în antrenare. LLM Studio o folosește în partea de calcul.
De ce contează?
Modelul este arhitectura împreună cu ponderile învățate; PyTorch este instrumentul care execută calculele.
Limită importantă
PyTorch nu este un chatbot gata antrenat și nici un model anume. Utilizarea CPU sau GPU depinde de instalare, hardware și fluxul ales.
Termeni înrudiți
https://docs.pytorch.org/tutorials/beginner/basics/intro.html
Tensor
Inferență & Operațiuni
Un tablou de numere cu o formă definită.
Ce înseamnă?
În PyTorch, un tensor poate conține un vector de cuvânt, culorile unei imagini sau ponderile unui strat. Forma indică dimensiunea fiecărei axe: 3 × 64 × 64 poate însemna trei canale de culoare ale unei imagini de 64 × 64. Tipul de date stabilește cum se păstrează fiecare număr.
De ce contează?
Tensorii leagă grilele colorate și benzile vectoriale din exploratoare de numerele reale din model.
Limită importantă
Forma singură nu spune ce înseamnă axele. Trei axe pot reprezenta lucruri diferite în etape de calcul diferite.
Termeni înrudiți
https://docs.pytorch.org/tutorials/beginner/basics/tensorqs_tutorial.html
CPU
Inferență & Operațiuni
Procesorul principal, de uz general, al calculatorului.
Ce înseamnă?
CPU înseamnă Central Processing Unit. Execută programe, organizează date și calculează operații cu tensori. La calculul pe CPU, majoritatea datelor modelului se află în memoria de sistem, numită RAM.
De ce contează?
CPU și GPU sunt două locuri posibile pentru calcul. Așa se înțelege de ce o sarcină poate dura mai mult fără placă video.
Limită importantă
Suportul CPU din PyTorch nu înseamnă că fiecare funcție a aplicației sau orice model mare este activat pe CPU. Timpul și memoria RAM disponibilă limitează utilizarea.
Termeni înrudiți
https://docs.pytorch.org/tutorials/beginner/basics/tensorqs_tutorial.html
GPU
Inferență & Operațiuni
Un procesor pentru foarte multe calcule în paralel.
Ce înseamnă?
GPU înseamnă Graphics Processing Unit. Multe operații din rețelele neuronale se pot împărți în calcule paralele. Un GPU potrivit le poate accelera; datele modelului și rezultatele intermediare au nevoie de spațiu în memoria video, numită VRAM.
De ce contează?
Așa se explică de ce la antrenare contează atât suportul GPU, cât și memoria VRAM liberă.
Limită importantă
GPU nu accelerează orice sarcină. Hardware-ul, algoritmii și software-ul trebuie să fie compatibile; RAM și VRAM sunt memorii diferite.
Termeni înrudiți
https://docs.pytorch.org/tutorials/beginner/basics/tensorqs_tutorial.html
CUDA
Inferență & Operațiuni
Platforma software NVIDIA pentru calcul pe GPU-uri NVIDIA compatibile.
Ce înseamnă?
CUDA oferă interfețe și instrumente pentru calcule generale pe GPU-uri NVIDIA. Cu o instalare PyTorch compatibilă, operațiile cu tensori rulează pe GPU în loc de CPU. Este necesar un driver NVIDIA compatibil.
De ce contează?
Termenul leagă placa video, driverul și varianta PyTorch instalată.
Limită importantă
CUDA nu este o placă video și nici un model. Instalarea CPU nu are nevoie de CUDA; orice GPU sau o versiune separată de toolkit nu garantează compatibilitatea.
Termeni înrudiți
https://docs.nvidia.com/cuda/cuda-programming-guide/index.html
NumPy
Inferență & Operațiuni
O bibliotecă Python pentru tablouri numerice și prelucrarea datelor.
Ce înseamnă?
NumPy oferă tablouri multidimensionale și operații numerice. Aplicația îl folosește în partea de calcul, inclusiv la pregătirea datelor. Tensorii PyTorch seamănă cu aceste tablouri, dar pot calcula și pe GPU-uri compatibile și pot urmări derivate pentru antrenare.
De ce contează?
Așa se deosebesc instrumentele de prelucrare a datelor de bibliotecile pentru modele: ambele lucrează cu numere, dar au sarcini diferite.
Limită importantă
Un tablou NumPy nu este o rețea neuronală antrenată. NumPy și PyTorch nu sunt interschimbabile pentru orice operație sau organizare a memoriei.
Termeni înrudiți
Hugging Face Hub
Inferență & Operațiuni
O platformă pentru fișiere de modele, seturi de date și documentația lor.
Ce înseamnă?
Hugging Face operează Hub-ul și dezvoltă biblioteci precum Transformers și Diffusers. Un depozit de model poate conține ponderi, configurație, tokenizer și un Model Card cu descrierea modelului. Modelele descărcate pot rula local cu software potrivit.
De ce contează?
Așa se deosebesc sursa descărcării, biblioteca software și modelul propriu-zis.
Limită importantă
Prezența pe Hub nu garantează calitatea sau compatibilitatea cu aplicația. Verifică descrierea și condițiile de utilizare; încărcarea locală diferă de apelarea unui API găzduit.
Termeni înrudiți
Transformers (Hugging Face)
Inferență & Operațiuni
O bibliotecă pentru încărcarea și rularea arhitecturilor de model acceptate.
Ce înseamnă?
Hugging Face Transformers oferă implementări de arhitecturi și instrumente pentru tokenizere, intrări și ieșiri. Aplicația o folosește pentru modelele externe acceptate. Ponderile antrenate sunt fișiere separate.
De ce contează?
Transformers poate desemna fie arhitectura generală, fie această bibliotecă software concretă.
Limită importantă
Biblioteca nu este ea însăși Qwen sau alt checkpoint. Suportul bibliotecii nu înseamnă automat că orice arhitectură și vizualizare este acceptată în LLM Studio.
Termeni înrudiți
Diffusers
Inferență & Operațiuni
O bibliotecă de componente pentru modele de difuzie.
Ce înseamnă?
Hugging Face Diffusers oferă componente de model, schedulere și pipeline-uri pentru metode de difuzie. Traseul de difuzie din pagina Vision folosește asemenea componente. Un pipeline poate lega encoderul de text, predictorul de zgomot, schedulerul și decoderul de imagine.
De ce contează?
Așa se deosebesc biblioteca, modelul de imagine și pașii arătați în Vision Explorer.
Limită importantă
Diffusers nu este un model de imagine antrenat anume. Modul Forme cu tokeni de culoare folosește alt traseu de calcul, nu un pipeline Diffusers.
Termeni înrudiți
Safetensors
Inferență & Operațiuni
Un format de fișier pentru tensori, adesea ponderi de model.
Ce înseamnă?
Safetensors păstrează tensori cu nume, forme, tipuri de date și valori. Spre deosebire de Python Pickle, citirea formatului nu cere executarea obiectelor Python încorporate. Folosirea ponderilor necesită în continuare arhitectura și configurația potrivite și, în funcție de model, un tokenizer.
De ce contează?
Așa se explică de ce un fișier de ponderi descărcat nu ajunge singur și de ce checkpoint-urile trebuie să corespundă tipului de model.
Limită importantă
Formatul nu confirmă originea, calitatea sau drepturile de utilizare. Și restul pachetului de model și codul său trebuie verificate.