Istraživač iz kompanije Microsoft demonstrirao je tehniku kojom jezički model može da dobije skrivena zadnja vrata promenom težina samo malog broja neurona. Model pritom može da nastavi da radi uobičajeno, sve dok se ne pojavi unapred određen uslov koji aktivira izmenjenu funkciju.
Tehnika, nazvana Lazarus, oslanja se na takozvane neaktivne, odnosno retko korišćene neurone u modelu. Neuroni su matematički elementi koji obrađuju informacije, a njihovo ponašanje određuju numeričke vrednosti poznate kao težine. U velikim jezičkim modelima postoje milijarde takvih parametara, smeštenih u datotekama koje u velikoj meri definišu ponašanje sistema.
Prema demonstraciji, prenamenom nekoliko retko aktiviranih neurona može da se prepozna određeni aktivator, poput ključne reči, datuma ili poruke o grešci. Kada se takav signal pojavi, model može da počne da umeće unapred zadate delove komande u odgovor. Povezivanjem više ovakvih izmena moguće je sastaviti i dužu komandu koja bi se izvršila u terminalu.
U jednom testu izmenjeno je deset neurona u modelu Nemotron-Terminal-8B, koji ima osam milijardi parametara. Agent je bio postavljen da popravi Node.js API server i u prvih nekoliko koraka normalno je izvršavao zadatak. Kada je server prijavio grešku „connection refused“, sistem je umesto toga dao instrukciju za preuzimanje i izvršavanje spoljne skripte.
Rizik zavisi od toga da napadač dobije direktan pristup datotekama sa težinama modela. To, ipak, ostavlja mogućnost provere: poređenje sa originalnom verzijom može da otkrije i veoma male izmene u parametrima.
Istraživanje ukazuje na to da organizacije treba da proveravaju poreklo i integritet modela, vrše reviziju njihovih težina i ograniče dozvole agentima. Dodatni važan sloj je praćenje aktivnosti, naročito kada modeli imaju pristup terminalu, datotekama ili mrežnim resursima.