Istraživači iz Y Combinator i Olam Labs iskoristili su Minecraft kao okruženje za testiranje velikih grupa softverskih agenata. U seriji eksperimenata, stotine agenata dobijale su zadatke da sarađuju ili se takmiče u različitim režimima igre.
Najambiciozniji test, nazvan Civ50, uključivao je 50 GPT-6.1 Sol agenata sa zadatkom da za tri sata izgrade funkcionalnu i prosperitetnu civilizaciju. Umesto organizovanog naselja, tim se posle prve noći suočio sa ozbiljnim problemima. Zombiji su eliminisali veliki deo učesnika, a iako su posledice u testu bile ograničene, početni planovi su postepeno napušteni.
Preostali agenti usmerili su se na oprezno preživljavanje, dok je koordinacija sve češće prelazila u nepotrebno duge procedure. U jednom slučaju, četiri agenta potrošila su 11 minuta da odrede jedinu osobu odgovornu za upotrebu koštanog brašna na jednom polju pšenice. Istraživači ovakav razvoj porede sa ponašanjem koje su primetili i kod agenata koji rade na programskim zadacima.
Testiranja su nastavljena direktnim sukobima između dva različita modela. U Bed Wars, režimu u kojem timovi napadaju protivničku bazu dok brane sopstvenu, takmičili su se po 10 GPT-6.1 Sol i 10 Claude Opus 5.5 agenata. GPT tim pokazao je agresivniji pristup i detaljnije razrađene strategije, dok je Claude tim bio defanzivniji.
Razlike su bile vidljive i prilikom tehničkog problema. Kada je greška u alatima sprečila razbijanje blokova, GPT tim je utvrdio problem i podelio alternativne načine za nastavak. Deo Claude agenata, međutim, zaključio je da razbijanje blokova uopšte nije moguće.
U Mindustry, lakšem strateškom režimu sa odbranom od napada, GPT timovi pobedili su u šest od ukupno sedam partija protiv Claude. Prema istraživačima, GPT agenti delovali su više kao jedinstvena koordinisana grupa, dok su Claude timovi imali vodećeg agenta, ali su odluke donosili kroz demokratskiji proces.
Kod i podešavanja za ove testove objavljeni su javno, a naredna ispitivanja mogla bi da uporede različite kombinacije modela i veličine timova.