Google, OpenAI, Anthropic i Microsoft obavezali su se da podrže novu direktivu u robots.txt, kojom će vlasnici veb-sajtova moći jednostavnije da odrede da li njihov sadržaj sme da se prikuplja za obuku generativnih modela.
Predlog se razmatra u okviru Internet Engineering Task Force, organizacije koja razvija otvorene internet-standarde. Njegov autor je Kevin Keli, tehnički vodeći za standarde u Anthropic.
Do sada su izdavači i operateri sajtova morali posebno da prepoznaju različite veb-robote i postavljaju pravila za svakog pojedinačnog pružaoca usluga. Novi pristup uvodi zajednički signal, koji bi trebalo da prepoznaje više kompanija.
Pravilo se dodaje u robots.txt datoteku, gde se već definišu smernice za automatizovano pretraživanje stranica. Novi korisnički agent namenjen je konkretno za prikupljanje materijala za obuku. Postavljanjem zabrane, vlasnik stranice moći će da spreči takve robote da preuzimaju sadržaj sa cele lokacije.
Sistem predviđa i fleksibilnije podešavanje. Umesto potpune zabrane, operateri će moći da dozvole pristup samo određenim delovima sajta, kao što su stranica sa materijalima za medije ili pres-kit.
Važno je da direktiva ne blokira celokupno indeksiranje veb-stranice. To neće značiti da će sadržaj nestati iz Google pretrage ili da će obični roboti za pretraživanje prestati da posećuju stranicu. Google će direktivu primenjivati konkretno na Google-Extended, robota koji prikuplja materijale za razvoj Gemini modela.
Novo pravilo nema retroaktivno dejstvo. Ako je određena stranica već bila posećena i njen sadržaj prethodno prikupljen, postavljanje direktive neće ukloniti taj materijal. Ona će važiti za buduće prikupljanje sadržaja i za stranice koje tek treba da budu obrađene.
Anthropic je već počeo da podržava novu direktivu. Microsoft je najavio podršku od 1. februara 2027. godine, dok Google planira uvođenje početkom 2027. godine. OpenAI je, pak, najavio implementaciju u narednim mesecima.