Neprofitna organizacija METR objavila je proširenu verziju svoje poznate analize o tome koliko složene zadatke najnapredniji jezički modeli mogu uspešno da završe. Novi rezultati i dalje ukazuju na brzo poboljšanje kod zadataka sa jasno proverljivim ishodom, ali otkrivaju značajnu razliku kada se od sistema traže procena, istraživački ukus ili rad sa otvorenim problemima.
U prvobitnoj analizi, težina zadataka određivala se prema vremenu koje je ljudima potrebno da ih završe. Zatim se merilo koliko duge zadatke modeli mogu da reše. Podaci su pokazali da se dužina zadataka koje vodeći sistemi mogu uspešno da završe udvostručavala približno svaka četiri meseca.
Novo izdanje uključuje zadatke za koje bi ljudima bilo potrebno mnogo više sati, kao i zadatke sa manje precizno definisanim kriterijumima uspeha. Takvi zadaci su važni jer automatizacija istraživačkog i razvojnog rada ne zavisi samo od rešavanja programerskih ili matematičkih problema, već i od izbora pravca, postavljanja hipoteza i ocenjivanja rezultata.
Jedan od novih testova zahteva od modela da osmisle nove evaluacije koje bi METR mogao da koristi u sopstvenom radu. Predloge su ocenjivali zaposleni u organizaciji. Nijedan od predloženih testova nije bio dovoljno koristan da bude primenjen u istraživanju METR-a, iako najnoviji modeli pokazuju bolje rezultate nego pre godinu dana.
Drugi test odnosi se na ocenjivanje filozofskih argumenata i treba da pokaže koliko dobro sistemi mogu da primene rasuđivanje. I ovde su rezultati bili ispod ljudskog nivoa. METR navodi i ograničenja u metodologiji: za neke duge i stručne zadatke trajanje za čoveka je procenjeno umesto direktno mereno, a kod filozofskih argumenata najveći deo ocenjivanja obavila je jedna osoba.
Prema izveštaju, napredak kod programerskih i matematičkih zadataka lakše je postići i meriti, jer rezultat može automatski da se proveri. Kod otvorenih zadataka, gde uspeh nije jednostavno definisan, i razvoj i ocenjivanje ostaju mnogo neizvesniji.
Prošireni testovi su važan korak ka realnijoj slici mogućnosti savremenih modela, ali za sada ne nude siguran odgovor koliko brzo bi mogli da preuzmu složen istraživački rad.
