Advokat Nik Mermiges nadogradio je svoj privatni server još jednom pločom Nvidia V100 grafičkih kartica, pa konfiguracija sada ima ukupno 12 polovnih modela sa po 32 GB memorije. Prema njegovim objavljenim merenjima, sistem može da smesti svih 15.360 eksperata DeepSeek V4.1 Flash u 4-bitnom NVFP4 formatu direktno u memoriju grafičkih kartica.
Cela konfiguracija koštala je 9.450 dolara. Prethodna verzija imala je osam V100 kartica i raspolagala je sa oko 254 GiB dostupne memorije, što nije bilo dovoljno za 278,9 GiB potrebnih za eksperte u NVFP4 formatu. Tada je deo njih bio sačuvan u 2-bitnoj preciznosti, dok je najčešće korišćenih 5.949 eksperata bilo u NVFP4 formatu. Sa dodatne četiri kartice, svi eksperti su dostupni u istom formatu, bez dodatnog smanjenja preciznosti.
Server je postigao između 157 i 184 tokena u sekundi pri obradi jednog toka programskog koda. Za dokumente sa kontekstom od 128.000 tokena, čitanje datoteke trajalo je 28 sekundi. Kod konteksta od 256.000 tokena, prvi token za kod stigao je nakon 58 sekundi, gotovo dvostruko brže u odnosu na 108,4 sekunde kod prethodne nadogradnje.
Iako je V100 grafička kartica iz 2018. godine, ona nema namenska FP4 i FP8 tenzorska jezgra. Zato se NVFP4 podaci najpre raspakuju softverski i pretvaraju u polovičnu preciznost. Dobit dolazi od manje količine podataka koju treba pročitati iz memorije, a ne od bržeg izračunavanja samog formata.
Kartice su raspoređene na tri ploče sa po četiri jedinice. Unutar svake ploče komuniciraju preko NVLink-a, dok prenos između ploča prolazi kroz PCIe prekidače. Treća ploča koristi odvojeni prekidač, pa prenos do nje nosi dodatno kašnjenje.
Sa tri paralelna zahteva i kontekstom od 128.000 tokena, sistem je dostigao ukupno oko 360 tokena u sekundi za kod i 213 tokena u sekundi za pravne tekstove. Mermiges planira da dodatno istražuje obradu više zahteva istovremeno i čuvanje razgovora i dokumenata na disku.
