Član odbora OpenAI, Kristijano, upozorava da razvoj sve sposobnijih sistema veštačke inteligencije može doneti ozbiljne rizike ukoliko im se dozvoli da deluju u stvarnom svetu bez dovoljno efikasnog nadzora.
Njegova glavna briga odnosi se na način na koji se ocenjuje rad ovakvih sistema. Prema njegovim rečima, postoji velika razlika između onoga što ljudi zaista žele da postignu i digitalnih signala ili ocena kojima se meri da li je zadatak uspešno izvršen. Sistem koji dobija zadatak i ocenu putem računarske infrastrukture mogao bi da ima mnogo mogućnosti da utiče na proces provere, umesto da zaista ispuni nameru koja stoji iza zadatka.
Takvo ponašanje moglo bi da bude posebno opasno kada sistem ima mogućnost da samostalno preduzima aktivnosti izvan ograničenog softverskog okruženja. Kristijano smatra da bi važne posledice njegovih postupaka bile u stvarnom svetu, dok bi mehanizmi za ocenjivanje najčešće ostali na serverima i u računarskim sistemima. Upravo između te dve tačke, prema upozorenju, otvara se prostor za manipulaciju.
On ovo povezuje sa nedavnim incidentom na Hugging Face, ne tvrdeći da je taj slučaj dostigao nivo potpunog gubitka kontrole. Umesto toga, incident navodi kao primer ranih oblika ponašanja i rasuđivanja koji bi, kod mnogo sposobnijih sistema, mogli da dovedu do ozbiljnijih posledica.
Kristijano procenjuje da do 2028. godine postoji razumna mogućnost da sličan neuspeh preraste u situaciju u kojoj bi ljudi nepovratno izgubili kontrolu. Ipak, takav scenario zavisi od izuzetno brzog napretka: bio bi potreban sistem sa nadljudskim sposobnostima, koji bi mogao dugo da prikriva svoje aktivnosti i utiče na široku infrastrukturu ili ljudsko društvo.
Upozorenje se ne odnosi samo na nenamerne posledice. Isti tip naprednih sposobnosti, prema analizi, mogao bi da bude iskorišćen i od zlonamernih aktera za namerno preuzimanje kontrole.