Fine-tuning (Doladenie)

Doladenie už natrénovaného jazykového modelu na menšej špecializovanej sade dát, aby zvládol konkrétnu úlohu, doménu alebo štýl.

Definícia

Fine-tuning (doladenie) je proces, pri ktorom sa už natrénovaný veľký jazykový model ďalej trénuje na menšej, cielenej sade dát. Namiesto trénovania od nuly sa využije existujúci model a iba sa doladí na želané správanie, napríklad aby odpovedal v tóne značky alebo v presnom formáte. Predtréning dáva modelu vedomosti, fine-tuning mu dáva účel. Úsporné metódy ako LoRA pritom doladia len malú časť parametrov, čím sprístupnili fine-tuning aj menším firmám.

Kľúčové čísla

2 fázy

Nadväzuje na predtréning modelu

LoRA

Úsporná metóda doladenia malej časti parametrov

RLHF

Doladenie podľa ľudskej spätnej väzby

Príklady

1Doladenie modelu, aby odpovedal v tóne hlasu konkrétnej značky
2Špecializácia na úzku doménu, napríklad právo alebo medicínu
3Naučenie modelu vždy vracať striktný formát, napríklad platný JSON

Hlavné metódy fine-tuningu

Úplný fine-tuning upravuje všetky parametre modelu a je najvýkonnejší, ale aj najdrahší. Parametricky úsporné metódy ako LoRA zmrazia pôvodný model a doladia len malý počet nových parametrov, čo výrazne znižuje náklady. Inštrukčné ladenie a RLHF zasa premenia surový model na užitočného asistenta tým, že sa naučí nasledovať pokyny a generovať odpovede, ktoré ľudia preferujú.

Fine-tuning, RAG alebo prompt engineering

Fine-tuning nie je vždy správna voľba. Ak modelu chýbajú znalosti, napríklad vaše interné dokumenty, zvyčajne stačí lacnejšia technika RAG. Ak mu chýba len jasné zadanie, pomôže prompt engineering. Fine-tuning má zmysel vtedy, keď potrebujete trvalo zmeniť štýl, formát alebo zručnosť modelu vo veľkom objeme. Jednoduché pravidlo: najprv prompt, potom RAG a až nakoniec fine-tuning.

Praktické tipy

1Najprv vyskúšajte prompt engineering, potom RAG a fine-tuning až nakoniec
2Pre úsporu nákladov zvoľte metódu LoRA namiesto úplného doladenia
3Pár stoviek kvalitných príkladov prekoná tisíce nedbalých

Často kladené otázky

Aký je rozdiel medzi fine-tuningom a RAG?

Fine-tuning mení správanie modelu tým, že ho doladí na nových príkladoch. RAG nemení model, ale pred odpoveďou mu dodá relevantné dokumenty. Fine-tuning rieši štýl a zručnosti, RAG rieši aktuálne fakty.

Potrebujem na fine-tuning vlastné dáta?

Áno. Bez kvalitných príkladov sa model nemá z čoho naučiť želané správanie. Dôležitejšia ako množstvo je kvalita a konzistentnosť dát.

Je fine-tuning vhodný pre bežného používateľa?

Väčšina ľudí ho nepotrebuje, pretože vystačí s dobrým promptom alebo s RAG. No-code nástroje ho síce sprístupnili, no stále si vyžaduje pripravené dáta a pochopenie cieľa.

Súvisiace pojmy

Veľký jazykový model (LLM)

Typ AI modelu trénovaného na obrovskom množstve textu, schopný generovať, porozumieť a spracovať ľudský jazyk — základ AI vyhľadávačov.

RAG (Retrieval Augmented Generation)

Technológia kombinujúca vyhľadávanie informácií s AI generovaním — základ fungovania Perplexity a ChatGPT web search.

Prompt (v AI kontexte)

Textový vstup (otázka, inštrukcia) zadaný AI modelu — v kontexte AI trackingu je to vyhľadávací dotaz, pre ktorý sa meria viditeľnosť.

Strojové učenie (Machine Learning)

Odvetvie umelej inteligencie, v ktorom sa počítač učí riešiť úlohy zo vzorov v dátach namiesto explicitných pravidiel.

Ďalšie informácie

Článok: Fine-tuning LLM modelov Článok: Čo je RAG

Predchádzajúci

Vektorová databáza

Monitorujte svoju AI viditeľnosť

Zistite, či AI vyhľadávače citujú vašu stránku. Vyskúšajte zadarmo.

Začať zadarmo