Tokenizacja – jak model „widzi” tekst
Demo a prawdziwy tokenizer
Tokenizacja dzieli tekst na mniejsze jednostki, czyli tokeny. Demo powyżej to uproszczenie: tnie tekst na słowa, spacje i znaki interpunkcyjne, a słowa dłuższe niż 6 liter dzieli na pół. Prawdziwe tokenizery, np. BPE (Byte Pair Encoding), korzystają ze słownika fragmentów wyuczonego na dużym zbiorze tekstu: częste ciągi znaków stają się jednym tokenem. Spacja zwykle przykleja się wtedy do początku następnego słowa i razem z nim tworzy token.
W angielskim tekście jeden token to średnio około 4 znaki. Polski tekst dzieli się na drobniejsze kawałki: na token przypada mniej znaków, więc ten sam tekst zużywa więcej tokenów.
Embedding – reprezentacja wektorowa
Kliknij token powyżej, aby zobaczyć jego wektor. To symulacja: liczby są wyliczane z liter tokenu, a nie pobierane z prawdziwego modelu.
Embedding zamienia każdy token na wektor, czyli listę liczb. Zależnie od modelu wektor ma setki lub tysiące wymiarów, np. 768 albo 4096. Słowa o podobnym znaczeniu mają zbliżone wektory: „król” i „królowa” leżą blisko siebie w przestrzeni wektorowej.
Base Model vs Instruct Model
Base Model (np. Qwen3.5-9B-Base)
Instruct Model (np. Qwen3.5-9B)
Base Model przeszedł tylko trening wstępny: nauczył się przewidywać następny token w zwykłym tekście, więc kontynuuje tekst. Instruct Model też przewiduje kolejne tokeny, ale po dodatkowym treningu na instrukcjach i dialogach (SFT, RLHF) odpowiada na pytania i wykonuje polecenia.
Etapy treningu LLM
Pre-training (trening wstępny)
Model uczy się przewidywać następny token na ogromnym zbiorze tekstu (strony internetowe, książki, Wikipedia, kod). Duże modele trenuje się na tysiącach GPU przez tygodnie lub miesiące.
Koszt: miliony dolarów za średni model, dziesiątki–setki milionów za największe
Dane: biliony tokenów tekstu
Supervised Fine-Tuning (SFT)
Model uczy się na parach instrukcja–odpowiedź, które ludzie napisali lub sprawdzili. Z tych przykładów przejmuje format dialogu i sposób wykonywania poleceń.
Dane: 10-100k starannie dobranych przykładów
Efekt: model odpowiada na polecenia, zamiast tylko kontynuować tekst
RLHF (Reinforcement Learning from Human Feedback)
Ludzie porównują kilka odpowiedzi modelu na to samo pytanie i wskazują lepszą. Z tych porównań powstaje model nagrody (reward model), który ocenia odpowiedzi. Potem główny model jest trenowany uczeniem ze wzmocnieniem tak, żeby dawał odpowiedzi z wyższą oceną.
Efekt: odpowiedzi są bardziej pomocne, bezpieczniejsze i bliższe temu, co wybierają oceniający
Algorytmy: PPO w klasycznym RLHF; DPO to prostsza alternatywa, która uczy się wprost z par preferencji, bez osobnego modelu nagrody
Ekonomia LLM – kalkulator kosztów
Tokeny wejściowe (input) są tańsze niż wyjściowe (output). Batch API kosztuje o połowę mniej, ale zlecenia są przetwarzane w tle, a wyniki przychodzą po minutach lub godzinach (najpóźniej po 24 h). Streaming dotyczy czegoś innego: włączony w zwykłym zapytaniu sprawia, że tokeny przychodzą na bieżąco, w trakcie generowania. Cena się przez to nie zmienia. Model na własnym serwerze wymaga drogiego sprzętu (GPU), ale przy dużym, stałym ruchu jeden token wychodzi taniej niż w API.