Čitanje · 6 min · Lekcija 2 od 8
Tokeni i kontekstni prozor
Zašto AI zaboravlja početak dugog razgovora i kako to izbjeći.
Modeli ne čitaju riječi kao mi. Tekst dijele na tokene, male dijelove koji su često samo dio riječi. U engleskom je jedan token otprilike tri četvrtine riječi, a hrvatskom zbog bogatih nastavaka za istu poruku obično treba više tokena.
Sve što model može uzeti u obzir odjednom, dakle vaše upute, zalijepljeni dokumenti, prethodne poruke i njegovi odgovori, mora stati u kontekstni prozor. Kad razgovor preraste taj prozor, najstariji dijelovi ispadaju ili se sažimaju i model počinje gubiti detalje koje ste mu dali na početku.
Praktično pravilo: za novi zadatak otvorite novi razgovor, a kad se razgovor oduži, ponovite ključne činjenice. Zalijepite samo onaj dio dokumenta koji je važan, a ne cijelu datoteku. Kraći i fokusiraniji kontekst daje točnije odgovore i manje košta kad koristite plaćene API-je.
Ključni zaključci
- Tekst se obrađuje kao tokeni, a hrvatskom ih obično treba više nego engleskom.
- Kontekstni prozor ograničava koliko model može uzeti u obzir odjednom.
- Za novi zadatak krenite ispočetka i zalijepite samo ono što je važno.