Čitanje · 9 min · Lekcija 3 od 7
Kvaliteta dohvata
Većina loših RAG odgovora nastaje prije nego što model uopće počne pisati.
Kad RAG asistent da pogrešan odgovor, prvi je instinkt okriviti model. Problem je obično u dohvatu: pravi odlomak nije pronađen ili ga je nadjačala zastarjela verzija istog dokumenta. Model koji dobije pogrešan kontekst samouvjereno će odgovoriti na pogrešno pitanje.
Dohvat mjerite odvojeno od odgovora. Izradite testni skup od 30 do 50 stvarnih pitanja i uz svako označite odlomak koji bi na njega trebao odgovoriti, a zatim provjerite koliko se često taj odlomak pojavljuje među prvim rezultatima. Taj jedan broj govori više od bilo koje demonstracije.
Najjeftinija poboljšanja obično su u sadržaju: uklonite duplikate i stare verzije, dodajte jasne naslove i datume te duge miješane dokumente podijelite na fokusirane. Uredni izvori čine više za točnost nego prelazak na veći model.
Ključni zaključci
- Pogrešni odgovori obično počinju pogrešnim dohvatom.
- Dohvat testirajte stvarnim pitanjima s poznatim odgovorima.
- Čišćenje sadržaja često donosi više od nadogradnje modela.