Kompanije sve češće uvode generativne alate za brže sastavljanje izveštaja, obradu dokumenata i druge ponavljajuće zadatke. Međutim, njihova korisnost zavisi od pristupa kontekstu i poslovnim sistemima, što istovremeno stvara nove bezbednosne slabosti.

Posebno je osetljiva upotreba autonomnih agenata povezanih sa računovodstvenim platformama, sistemima za upravljanje dokumentima, izveštajima i bazama podataka o klijentima. Ako takav agent bude zloupotrebljen, može izložiti poverljive informacije koje firme čuvaju o klijentima, zaposlenima ili investitorima.

Jedan od glavnih problema je to što veliki jezički modeli teško razlikuju podatke od instrukcija. Skrivena zlonamerna naredba u e-poruci, dokumentu ili veb-stranici može biti obrađena kao legitiman zahtev. Ova vrsta napada poznata je kao umetanje instrukcija i može podstaći delovanje u kasnijem trenutku, koristeći redovna ovlašćenja agenta.

Rizik postoji i prilikom pretraživanja interneta. Agent bi mogao nenamerno da uključi poverljive podatke u internet-adresu ili u pretraživački upit, čime bi informacija postala dostupna van kompanije, a da to ne bude odmah primećeno. Najopasnija je kombinacija nepouzdanog unosa, pristupa osetljivim podacima i mogućnosti izvršavanja radnji u spoljnim sistemima.

Istraživanje kompanije Turbotic pokazuje da 51 odsto poslovnih lidera strahuje da zaposleni unose osetljive podatke u neovlašćene alate, dok je 36 odsto zabrinuto zbog njihove upotrebe bez nadzora. Ova pojava, poznata kao „senka“ upotreba, može dovesti do curenja podataka, netačnih odgovora i neusklađene komunikacije sa klijentima.

Prema izveštaju Svetskog ekonomskog foruma i kompanije Accenture, manje od jedan odsto organizacija u potpunosti je uspostavilo odgovorne prakse za korišćenje ovakvih sistema. Zato su ključna ograničena ovlašćenja, jasno definisan pristup podacima, kontrola povezanih sistema i ljudska provera rezultata.

Kompanije treba da obezbede zaposlenima odobrene alate i precizne smernice za njihovo korišćenje. Bez takvih pravila, najveća pretnja nije samo pogrešna implementacija, već i potpuno odsustvo kontrole.