Kompanije koje sisteme sa veštačkom inteligencijom prebacuju iz probnih projekata u svakodnevnu upotrebu suočavaju se sa drugačijim obračunom troškova. Rešenje koje deluje jeftino dok ga koristi nekolicina može znatno poskupeti kada radi hiljadama puta dnevno ili kada automatizovani agenti pozivaju više modela za jedan zadatak.
Umesto da se sva radna opterećenja izvršavaju najvećim dostupnim modelom i na istoj vrsti hardvera, efikasniji pristup je da izbor počne od zadatka. Manji modeli mogu brže i uz nižu cenu da izvršavaju rutinske klasifikacije, izvlačenje podataka i usmeravanje zahteva. Modeli srednje klase pogodni su za veliki deo svakodnevnih zadataka koji zahtevaju rasuđivanje, dok najmoćniji imaju smisla kod složenog planiranja i situacija u kojima su presudni preciznost i nijanse.
Prioriteti nisu isti za sve organizacije. Asistent za korisničku podršku zahteva brz odgovor, dobro korisničko iskustvo i kontrolu troškova pri velikom obimu. Kod javnih institucija i sistema sa osetljivim podacima, podjednako važni postaju mesto izvršavanja, bezbednost, vlasništvo i lokalna kontrola nad informacijama.
Isto važi i za akceleratore. Hardver optimizovan za malu latenciju ne mora da bude najbolji izbor za zadatke velikog obima, gde su važniji propusnost i cena. Oslanjanje na jednu vrstu akceleratora za sve procese može značiti plaćanje performansi koje korisnik uopšte ne primećuje.
Zbog toga se nameće kombinacija različitih vrsta silicijuma i dobavljača, među kojima su NVIDIA, AMD, Qualcomm, Microsoft i Cerebras. Kao primer specijalizovanih performansi, Cerebras je izvršavao model gpt-oss-120b kompanije OpenAI sa oko 3.000 tokena u sekundi, brzinom značajnom za usluge gde je vreme odgovora ključno.
Trošak ne zavisi samo od odabranog modela, već i od načina korišćenja. Agenti koji čitaju datoteke, stvaraju i testiraju kod, pa zatim proveravaju rezultat, mogu potrošiti mnogo više tokena od običnog razgovornog sistema. Zato merilo uspeha ne treba da bude samo broj tokena ili sirova snaga, već vrednost završenog posla — na primer, cena po rešenom korisničkom slučaju ili stvarno ubrzanje rada zaposlenih.