Poboljšanja velikih jezičkih modela sve manje zavise samo od povećanja broja parametara. Zato se programeri češće usmeravaju na sisteme u kojima više agenata sa različitim zadacima radi zajedno: jedan može da piše kod, drugi da ga proverava, a treći da prikuplja ili obrađuje podatke.
Takav pristup, ipak, otvara nove tehničke probleme. Sa svakim dodatnim agentom raste broj mogućih neslaganja između stanja sistema, kašnjenja u razmeni konteksta i nepotrebnog trošenja tokena. Prema navedenim istraživanjima, 36,9 odsto neuspeha kod sistema sa više agenata proizlazi iz loše koordinacije.
Čest model je centralni koordinator koji deli zadatke, šalje ih odgovarajućim agentima i na kraju spaja rezultate. Taj pristup olakšava kontrolu, ali stvara jednu kritičnu tačku. Ako koordinator uspori ili prestane da radi, ceo niz zadataka može da se zaglavi. Dodatno, sam proces raspodele i ponovnog slanja konteksta donosi dodatni trošak.
Poseban problem je rast potrošenih tokena kada agenti razmenjuju duge, nesažete razgovore i podatke. TechRadar navodi primer tima u Amazonu koji je za projekat mapiranja podataka o autorima i onlajn listama knjiga napravio neočekivani trošak od 1,8 miliona dolara za tokene.
Kao odgovor, programeri se oslanjaju na stroža pravila za tok rada. Umesto da agenti slobodno odlučuju ko će nastaviti sa zadatkom, mogu se primeniti programski definisana stanja: pri određenom uslovu, unapred izabrani agent preuzima sledeću fazu. Koriste se i ograničenja za tokene, vremenski prekidači, uzastopno predavanje zadataka i limiti za broj prenosa između agenata.
Rizik predstavljaju i lančane greške. Netačna informacija koju unese jedan agent može biti prihvaćena kao tačna od narednih i završiti u zajedničkoj bazi podataka. Da bi to smanjili, timovi razdvajaju uloge za prikupljanje podataka, rezonovanje i generisanje rezultata, a uključuju i nezavisnog proveravača.
Korisni su i strogi formati za podatke, provere tipova, ograničen broj ponovnih pokušaja i detaljni zapisi za svaki poziv i predavanje zadatka. Najvažnije pravilo ostaje jednostavno: sistem treba da koristi samo onoliko agenata koliko je zaista potrebno.