Az Nvidia hétfőn bejelentette a Project DIGITS nevű kis asztali számítógépet, amely a kutatók, adatkutatók és diákok számára készült, akik szeretnének AI modellekkel kísérletezni otthon. A 3000 dolláros eszköz, amely az Nvidia új GB10 Grace Blackwell Superchipjét tartalmazza, a CES 2025-ön debütált Las Vegasban. A számítógép májusban kerül forgalomba, és működhet önálló PC-ként, vagy csatlakozhat Windows vagy Mac gépekhez.
A CES-en Jensen Huang, az Nvidia vezérigazgatója az új rendszert „felhőalapú számítástechnikai platformként” írta le, amely az asztalán helyezkedik el. A vállalat a Project DIGITS-t úgy tervezte meg, mint egy hidat az asztali fejlesztés és a felhőalapú telepítés között. A fejlesztők helyben, a Project DIGITS-en hozhatnak létre és tesztelhetnek AI alkalmazásokat, majd azokat átkonvertálhatják felhőszolgáltatásokra vagy adatközpontokra, amelyek hasonló Nvidia hardvert használnak.
AI modellek futtatása helyben
Jelenleg sokan olyan AI modelleket használnak, amelyek távoli adatközpontokban futnak, mivel azok számítási igényei magasak. Az idő múlásával megfigyelhető egy tendencia, hogy a kisebb AI modellek felé mozdulnak el, hogy hatékonyan futhassanak helyi, személyesen birtokolt hardveren. A Project DIGITS otthoni környezetben biztosíthatja ezt a képességet.
Az egyes Project DIGITS egységek állítólag képesek futtatni a 200 milliárd paraméterig terjedő AI modelleket, míg két összekapcsolt egység akár 405 milliárd paraméteres modelleket is kezelhet. Az AI modellek esetében a paraméterek száma nagyjából megfelel az AI modell neurális hálózatának méretének és összetettségének, ahol a több paraméter több memóriát és számítási teljesítményt igényel a futtatáshoz.
Vannak kisebb, nyílt súlyú AI nyelvi modellek (például Llama 3.1 70B, 70 milliárd paraméterrel) és különböző AI képgeneráló modellek, mint a Flux.1 dev (12 milliárd paraméter), amelyek valószínűleg kényelmesen futtathatók a Project DIGITS-en, de a nagyobb nyílt modellek, mint például a Llama 3.1 405B (405 milliárd paraméter) már nem biztos, hogy így teljesítenek. Figyelembe véve a közelmúltban megugró kisebb AI modellek számát, egy kreatív fejlesztő valószínűleg sok érdekes modellt futtathat az egységen.
A memória jelentősége
A DIGITS 128 GB egységes RAM-ja figyelemre méltó, mivel egy nagy teljesítményű fogyasztói GPU, mint az RTX 4090, csupán 24 GB VRAM-mal rendelkezik. A memória kemény határt jelent az AI modell paraméterszáma szempontjából, és a nagyobb memória lehetőséget biztosít a nagyobb helyi AI modellek futtatására.
A rendszer az Nvidia Linux-alapú DGX OS operációs rendszere alatt fut, és hozzáférést biztosít az Nvidia AI szoftvereszközeihez, mint például a NeMo keretrendszer (mely segíti az AI modellek fejlesztését) és a RAPIDS könyvtárak (melyeket a fejlesztők az AI alkalmazások létrehozására használnak). A felhasználók a PyTorch, Python és Jupyter notebookok közös AI fejlesztői eszközeit is futtathatják.
Hogyan hasonlítható össze a Project DIGITS más helyi AI lehetőségekkel? Az Nvidia szerint az új számítógép ára 3000 dollárról indul, ami azt jelenti, hogy a teljesen felszerelt egység jelentősen drágább lehet. Az Apple októberi sajtóközleményében azt írta, hogy egy M4 Max chip-pel rendelkező Mac akár 128 GB egységes memóriát is tartalmazhat, és potenciálisan képes futtatni 200 milliárd paraméterig terjedő AI modelleket, hasonlóan a Project DIGITS számítógéphez.
Jelenleg egy M4 Max chippel és 128 GB egységes memóriával rendelkező MacBook Pro körülbelül 4699 dollárért kapható az Egyesült Államokban, így a DIGITS potenciálisan összehasonlítható áron és AI képességgel bír, bár az AI teljesítménybeli eltérések a laboratóriumi tesztelés során derülhetnek ki.
Érdekes tény: Az AI modellek mérete és összetettsége folyamatosan növekszik, és a legújabb kutatások szerint a jövőben akár 1 billió paraméterig terjedő modellek is létezhetnek!
Források: Nvidia, CES 2025, TechCrunch
