Google Cloud újításai az AI infrastruktúrában
A Google Cloud október 30-án bejelentette, hogy fejleszti az AI felhőinfrastruktúráját új TPUs és NVIDIA GPU-k segítségével az App Day & Infrastructure Summit keretében. A Trillium NPU hatodik generációja már előzetes állapotban elérhető a felhőkliensek számára, és számos népszerű Google Cloud szolgáltatást, köztük a Keresést és a Térképeket is támogatja.
Mark Lohmeyer, a Google Cloud Compute és AI infrastruktúráért felelős alelnöke a sajtóközleményében így nyilatkozott: “Ezekkel az AI infrastruktúrában végrehajtott fejlesztésekkel a Google Cloud lehetőséget ad a vállalkozásoknak és kutatóknak, hogy újradefiniálják az AI innováció határait.”
A Trillium NPU felgyorsítja a generatív AI folyamatokat. Mivel a nagy nyelvi modellek folyamatosan növekednek, a szilícium teljesítményének is lépést kell tartania. A hatodik generációs Trillium NPU 91 exaflops teljesítményt nyújt egy TPU klaszterben, ezzel jelentős előrelépést biztosítva az AI alkalmazások tréningezésében és inferenciájában.
Az új rendszer 4.7-szeres teljesítmény növekedést kínál a chipenkénti csúcs számítási teljesítményben az ötödik generációhoz képest, emellett megduplázza a High Bandwidth Memory kapacitását és az Interchip Interconnect sávszélességet. A Trillium képes megfelelni a nagy számítási igényeknek, amelyeket a nagy léptékű diffúziós modellek, mint például a Stable Diffusion XL támasztanak.
Az ipari ügyfelek számára fontos, hogy költséghatékony AI gyorsítást és megnövelt inferencia teljesítményt igényelnek – mondta Mohan Pichika, a Google Cloud AI infrastruktúráért felelős termékmenedzsere.
Deniz Tuna, a mobilalkalmazás-fejlesztő HubX vezetője a sajtóközleményben azt nyilatkozta: “A Trillium TPU-t használtuk a szöveg-alapú képgeneráláshoz a MaxDiffusion & FLUX.1 segítségével, és az eredmények lenyűgözőek! Negyed óra alatt négy képet generáltunk – ez 35%-kal javította a válaszidőt és körülbelül 45%-kal csökkentette a költségeinket.”
Új Virtuális Gépek várják az NVIDIA Blackwell chip szállítmányokat
Novemberben a Google új A3 Ultra virtuális gépeket vezet be, amelyeket NVIDIA H200 Tensor Core GPU-k hajtanak. Az A3 Ultra virtuális gépek AI vagy nagy teljesítményű számítási feladatokat futtatnak a Google Cloud adatközpontjának hálózatán, 3.2 Tbps GPU-to-GPU forgalommal.
Ezek a gépek többek között a következőket kínálják:
– Integráció az NVIDIA ConnectX-7 hardverével.
– 2x-es GPU-to-GPU hálózati sávszélesség az előző benchmarkhoz képest, az A3 Mega-hoz viszonyítva.
– Akár 2x-es LLM inferenciális teljesítmény növekedés.
– Szinte megduplázott memória kapacitás.
– 1.4x nagyobb memória sávszélesség.
A Hypercompute Cluster a Google Cloud ügyfelei számára elérhető lesz az A3 Ultra virtuális gépekkel és Titanium ML hálózati adapterekkel.
A Google Cloud infrastruktúrája a nagy nyelvi modellek iparágának növekedését támogatja, és folyamatosan fejleszti szolgáltatásait a versenytársakkal szemben, mint például az Amazon Web Services és a Microsoft Azure.
Érdekes tény: A Google Cloud 2024 első negyedévében a felhőinfrastruktúra szolgáltatások piacának 10%-át birtokolta, míg az Amazon AWS 34%-ot, a Microsoft Azure pedig 25%-ot.
Források:
– Google Press Release
– TechRepublic
