Nije svaki RAG izgrađen na isti način. Razlika između samouverenog nagađanja i proverljivog, citiranog odgovora svodi se na nekoliko odluka u dizajnu. Ako procenjujete AI softver za dokumente, ovih pet je najvažnije.
1. Deljenje na delove koje poštuje strukturu
Pre nego što bilo šta može da se preuzme, dokumenti se dele na delove. Slepo deljenje - na svakih 500 reči - preseca klauzule napola i uništava značenje. Dobri sistemi dele duž strukture samog dokumenta, zadržavajući klauzulu, odeljak ili tabelu celovitim, tako da je preuzeti deo zaista upotrebljiv sam za sebe.
2. Semantičko preuzimanje, ne podudaranje ključnih reči
Pretraga ključne reči „odgovornost" promašuje klauzulu koja kaže „dobavljač ne snosi odgovornost". Semantičko preuzimanje pretražuje po značenju, pa srodne formulacije izađu na videlo i kada se tačni izrazi razlikuju. Najjači sistemi zatim ponovo rangiraju kandidate, tako da do odgovora stigne najrelevantniji deo, a ne onaj sa najviše ključnih reči.
3. Strogo utemeljenje i citati
Ovo je obrazac koji je najvažniji za regulisani rad. Odgovor mora da bude izgrađen isključivo iz preuzetih delova, a svaka tvrdnja mora da upućuje nazad na imenovani izvor - dokument, odeljak, stranu. Ako tvrdnja ne može da se prati do izvora, ne treba da se pojavi. Utemeljenje je ono što čini odgovor proverljivim.
4. Pragovi pouzdanosti - i „ne znam"
Kada preuzeti materijal zapravo ne odgovara na pitanje, sistem treba to da kaže, a ne da improvizuje. Alat koji odbija da nagađa korisniji je u advokatskoj kancelariji od onog koji uvek proizvede tečan pasus. InVerba „ne znam" tretira kao ispravan odgovor kada dokaza nema.
5. Kontrola pristupa i revizija
U kancelariji ne bi svako trebalo da može da pretražuje svaki predmet. Sistem spreman za produkciju sprovodi ko može da pretražuje koje kolekcije i beleži svaki upit - ko je šta pitao, koji su dokumenti vraćeni i kada - tako da je aktivnost proverljiva.
- Deljenje koje poštuje strukturu dokumenta.
- Preuzimanje po značenju, uz ponovno rangiranje.
- Odgovori strogo utemeljeni u citiranim izvorima.
- Pošteno odbijanje umesto samouverenog nagađanja.
- Pristup baziran na ulogama i kompletan dnevnik upita.
Kako da koristite ovu listu
Kada procenjujete bilo koji AI alat za dokumente, pitajte dobavljača kako rešava svaki od ovih pet. Odgovori vam brzo govore da li gledate pažljiv sistem napravljen za dokaze ili četbot uperen u vaše fajlove.