Čo je to LLM (veľký jazykový model)?

Veľký jazykový model (LLM, z anglického Large Language Model) je typ umelej inteligencie natrénovaný na obrovskom množstve textu, ktorý dokáže rozumieť ľudskému jazyku a generovať ho. Vo svojej podstate robí jedinú vec: predpovedá najpravdepodobnejšie ďalšie slovo (presnejšie token) v poradí. Na tomto princípe stoja všetky známe AI nástroje ako ChatGPT, Gemini, Claude aj Perplexity.

Tento článok vysvetľuje, čo LLM je, ako funguje, na čom sa trénuje a aké má obmedzenia, bez zbytočného žargónu. Je súčasťou našej série o základoch umelej inteligencie spolu s článkami o generatívnej AI a o strojovom učení.

Čo presne znamená „veľký jazykový model"?

Názov vystihuje tri veci. „Jazykový" znamená, že model pracuje s textom, teda s prirodzeným jazykom. „Model" je matematická funkcia, ktorá sa naučila vzory z dát. A „veľký" odkazuje na rozsah, model má stovky miliárd vnútorných hodnôt (parametrov) a trénuje sa na biliónoch slov.

LLM nie je databáza faktov ani vyhľadávač. Je to štatistický model jazyka. Nevyhľadáva uloženú odpoveď, ale generuje ju slovo po slove na základe pravdepodobností, ktoré si počas tréningu osvojil.

Ako LLM funguje krok za krokom

Fungovanie LLM sa dá zhrnúť do jednoduchej slučky predpovedania ďalšieho tokenu:

1. Rozdelenie textu na tokeny. Váš vstup (prompt) sa rozseká na malé kúsky nazývané tokeny, čo sú slová alebo časti slov. Podrobne to rozoberáme v článku o tokenoch a embeddingoch.
2. Prevod na čísla. Každý token sa premení na vektor čísel (embedding), ktorému model rozumie.
3. Spracovanie cez neurónovú sieť. Tieto čísla prejdú cez architektúru zvanú Transformer, ktorá zváži, ktoré slová v texte sú navzájom dôležité. O nej máme samostatný článok o neurónových sieťach a Transformeri.
4. Predpoveď ďalšieho tokenu. Model vypočíta pravdepodobnosť pre každý možný ďalší token a jeden vyberie.
5. Opakovanie. Vybraný token sa pridá k textu a celý proces sa zopakuje, kým nevznikne celá odpoveď.

Práve preto LLM odpovedá plynulo, ale niekedy si fakty vymyslí: optimalizuje na to, aby veta znela pravdepodobne, nie na to, aby bola overiteľne pravdivá.

Na čom sa LLM trénuje

Tréning prebieha v dvoch hlavných fázach. Prvá je predtréning (pretraining), počas ktorého model číta obrovské množstvo verejného textu z internetu, kníh a kódu a učí sa predpovedať ďalšie slovo. Tu vzniká jeho „znalosť" jazyka a sveta.

Druhá fáza je doladenie (fine-tuning), kde sa model upraví na konkrétne správanie, napríklad aby odpovedal užitočne a bezpečne. Tomu sa venuje samostatný článok o fine-tuningu LLM modelov. Celý prístup, keď sa stroj učí vzory z dát namiesto explicitných pravidiel, sa volá strojové učenie.

Čo je parameter a prečo na veľkosti záleží

Parameter je jedna z vnútorných „nastaviteľných" hodnôt modelu, ktoré sa počas tréningu ladia. Vo všeobecnosti platí, že viac parametrov dáva modelu väčšiu kapacitu zachytiť zložité vzory v jazyku, hoci samotný počet nie je zárukou kvality.

Pre predstavu o rozsahu: model GPT-3 od OpenAI mal 175 miliárd parametrov, čo bolo v čase jeho predstavenia v roku 2020 desaťnásobne viac než akýkoľvek predchádzajúci porovnateľný model. Dnešné špičkové modely tento počet ešte výrazne prekonávajú.

Aké sú najznámejšie LLM

Trh s veľkými jazykovými modelmi ovláda niekoľko rodín modelov od veľkých technologických firiem aj z open-source komunity:

Rodina modelov	Tvorca	Typický prístup
GPT (poháňa ChatGPT)	OpenAI	Komerčný, cez API a aplikáciu
Gemini	Google	Komerčný, integrovaný do vyhľadávania
Claude	Anthropic	Komerčný, dôraz na bezpečnosť
Llama	Meta	Otvorené váhy, na vlastné nasadenie

Ak chcete modely porovnať podrobnejšie, pozrite si naše porovnanie open-source LLM modelov a návod ako spustiť LLM lokálne cez Ollamu.

Aké sú obmedzenia LLM

LLM má niekoľko dôležitých slabín, ktoré treba poznať:

• Halucinácie. Model môže s istotou napísať nepravdivý fakt, pretože generuje pravdepodobný text, nie overené informácie. Viac v článku o halucináciách AI.
• Hranica znalostí. Model vie iba to, čo bolo v jeho tréningových dátach, takže o najnovších udalostiach nemusí vedieť nič.
• Žiadne skutočné porozumenie. Model nemá zámery ani chápanie v ľudskom zmysle, pracuje s pravdepodobnosťami.

Časť týchto problémov rieši technika RAG (Retrieval-Augmented Generation), ktorá modelu pred odpoveďou dodá relevantné dokumenty, aby vychádzal z reálnych zdrojov.

Prečo sú LLM dôležité pre viditeľnosť vášho webu

Veľké jazykové modely dnes poháňajú AI vyhľadávače, ktoré odpovedajú používateľom priamo a pritom citujú zdroje. Ak chcete, aby tieto modely citovali práve váš web, musíte obsah pripraviť tak, aby sa z neho dalo ľahko extrahovať a dôverovať mu.

Presne na to slúži AI optimalizácia (GEO). V článku AI optimalizácia vs SEO vysvetľujeme, ako sa líši od klasického SEO.

Často kladené otázky

Aký je rozdiel medzi LLM a ChatGPT?

LLM je samotný jazykový model, teda technológia. ChatGPT je aplikácia od OpenAI, ktorá takýto model používa a pridáva k nemu chatovacie rozhranie, pamäť konverzácie a bezpečnostné pravidlá.

Je LLM to isté ako umelá inteligencia?

Nie. LLM je len jeden druh umelej inteligencie zameraný na jazyk. Umelá inteligencia je oveľa širší pojem, ktorý zahŕňa aj rozpoznávanie obrazu, robotiku či odporúčacie systémy.

Prečo si LLM niekedy vymýšľa fakty?

Pretože model generuje štatisticky pravdepodobný text, nie overené informácie. Ak nepozná správnu odpoveď, doplní niečo, čo znie vierohodne. Tomuto javu sa hovorí halucinácia.

Potrebujem na používanie LLM technické znalosti?

Nie. Bežné nástroje ako ChatGPT, Gemini či Claude sa ovládajú jednoduchým písaním v prirodzenom jazyku. Technické znalosti potrebujete až vtedy, keď chcete model nasadiť alebo doladiť sami.

Dá sa LLM spustiť na vlastnom počítači?

Áno, menšie modely s otvorenými váhami sa dajú spustiť lokálne pomocou nástrojov ako Ollama. Vyžaduje to však výkonnejší hardvér, najmä dostatok grafickej pamäte.