RAG i fine-tuning – Anatomia LLM

Okno kontekstowe – ile tekstu model przetwarza naraz

~1000 tokenów

0 8192 tokenów

Co się mieści w 8K tokenach:

• ~4000 słów po polsku albo ~6000 po angielsku (8–12 stron A4)

• ~600–800 linii kodu

• Krótszy artykuł naukowy

Okno kontekstowe (context window) to maksymalna liczba tokenów, jaką model przetwarza w jednym wywołaniu. Mieszczą się w nim razem prompt (wejście) i odpowiedź (wyjście), więc długi prompt zostawia mniej miejsca na odpowiedź. Im większe okno, tym więcej informacji zmieścisz w prompcie. Polski tekst zużywa więcej tokenów na słowo niż angielski, dlatego w tym samym oknie mieści się mniej polskich słów.

RAG – Retrieval-Augmented Generation

1. Pytanie

Użytkownik zadaje pytanie

2. Embedding

Pytanie → wektor

3. Wyszukiwanie

Najbardziej podobne fragmenty z bazy

4. Kontekst

Prompt + dokumenty

5. LLM

Generowanie odpowiedzi

Baza wiedzy (dokumenty)

Zapytanie i wynik

Kliknij „Wyszukaj i generuj”, aby przejść przez kolejne kroki RAG.

Wykorzystanie okna kontekstowego 0 / 8000 tokenów

Drzewo decyzyjne: RAG czy fine-tuning

Odpowiedz na pytania, a drzewo podpowie, które podejście pasuje do Twojego przypadku.

Czy masz dużo własnych danych z konkretnej dziedziny?

np. dokumentacja firmy, baza wiedzy, teksty specjalistyczne

Podsumowanie: kiedy co wybrać?

Prompt engineering

Do prostych zadań, w których cały kontekst mieści się w jednym zapytaniu. Działa od razu, bez dodatkowej infrastruktury.

RAG

Gdy potrzebujesz aktualnych danych, dużej bazy wiedzy albo wskazania źródeł. Aby zaktualizować wiedzę, wystarczy podmienić dokumenty w bazie.

Fine-tuning

Gdy model ma na stałe przyjąć określony styl, format lub sposób zachowania. Słabo nadaje się do dodawania nowych faktów; do tego lepszy jest RAG. Droższy i trudniejszy w utrzymaniu.