Parametry generowania
Niska: odpowiedzi przewidywalne i powtarzalne. Wysoka: bardziej różnorodne i losowe.
Nucleus sampling: model losuje tylko spośród najbardziej prawdopodobnych tokenów, których łączne prawdopodobieństwo sięga p.
Model losuje tylko spośród k najbardziej prawdopodobnych tokenów.
Górny limit długości odpowiedzi w tokenach. Po jego osiągnięciu tekst jest ucinany.
Rozkład prawdopodobieństwa następnego słowa
Symulacja generowania
Jak działa temperature
Temperature = 0
Model wybiera najbardziej prawdopodobny token. Odpowiedzi są przewidywalne i prawie zawsze takie same, ale bywają monotonne. Pełnej powtarzalności to nie gwarantuje: drobne różnice w obliczeniach po stronie serwera potrafią zmienić wynik.
Temperature = 1+
Przy 1 model losuje z niezmienionego rozkładu, a powyżej 1 rozkład robi się bardziej „płaski”. Model częściej wybiera mniej oczywiste tokeny. Tekst jest bardziej kreatywny, ale rośnie ryzyko błędów i niespójności.
Wymuszanie struktury JSON
Symulowana odpowiedź modelu
API potrafią wymusić format odpowiedzi. JSON mode (np. w API OpenAI) gwarantuje składniowo poprawny JSON, ale nie pilnuje nazw pól ani typów. Structured outputs idą dalej: podajesz JSON Schema, a API tak ogranicza generowanie, że odpowiedź pasuje do schematu. Tę opcję mają m.in. OpenAI i Anthropic.
Scenariusze pracy z LLM
Kliknij kartę, aby zobaczyć szczegóły.
Chat online
ChatGPT, Claude, Gemini: aplikacje do rozmowy z modelem w przeglądarce.
Zalety:
- Łatwy dostęp, bez konfiguracji
- Najnowsze modele
- Historia rozmów
Wady:
- Dane wysyłane do chmury
- Ograniczona kontrola parametrów
- Limity użycia, zwłaszcza w darmowych planach
Dla kogo:
Okazjonalni użytkownicy, szybkie pytania, prototypowanie
Lokalny LLM
Ollama, LM Studio, llama.cpp: modele uruchamiane na własnym komputerze.
Zalety:
- Pełna prywatność danych
- Brak opłat za tokeny
- Pełna kontrola i możliwość dostosowania modelu
Wady:
- Do płynnej pracy zwykle potrzebne GPU (8 GB+ VRAM); małe modele działają też na CPU
- Modele mieszczące się na domowym sprzęcie są słabsze od największych modeli w chmurze
- Wymaga konfiguracji
Dla kogo:
Programiści, firmy z wrażliwymi danymi, hobbyści
API
OpenAI API, Anthropic API, Microsoft Foundry: dostęp do modeli z poziomu kodu.
Zalety:
- Kontrola parametrów (zakres zależy od dostawcy i modelu)
- Integracja z aplikacjami
- Function calling, streaming
Wady:
- Płatność za tokeny
- Wymaga programowania
- Limity zapytań (rate limits)
Dla kogo:
Programiści, produkty SaaS, automatyzacja
Dobre praktyki
Temperature: 0-0.3 do zadań wymagających precyzji (kod, fakty), 0.7-1.0 do zadań twórczych (pisanie, burza mózgów). Część najnowszych modeli nie pozwala zmieniać temperatury (np. obecne modele Claude zwracają błąd przy wartości innej niż domyślna). Wtedy zachowaniem steruje się promptem i poziomem rozumowania (effort).
Max tokens: Ustaw rozsądny limit, żeby odpowiedź nie była za długa ani za droga. Limit ucina tekst, ale nie sprawia, że model pisze zwięźlej. Jeśli chcesz krótszej odpowiedzi, napisz to w prompcie.
Structured output: Gdy odpowiedź czyta program, używaj w produkcji structured outputs ze schematem (albo przynajmniej JSON mode) i waliduj wynik w kodzie.