A The Verge híradása szerint az új generációba egyelőre két csip tartozik, a Blackwell B200 GPU és a GB200-as szuperchip. Ez utóbbi két B200-ast és egy Grace CPU-t tartalmaz. A chipeket nagy nyelvi modellek (large language model – LLM) betanítására és működtetésére használják. Ugyan már az eddig is piacon lévő H100-as csipjük is jelentősen hozzájárult a piacvezető pozíció megszerzéséhez, de a Blackwellek még többet segíthetnek a technológia fejlődésében.
Az Nvidia szerint az új B200 GPU a 208 milliárd tranzisztorának köszönhetően akár 20 petaflop FP4 teljesítményt is elérhet. A GB200-as a H110-ashoz képest 30-szor nagyobb teljesítményt kínál az LLM számítási feladatokhoz, miközben potenciálisan lényegesen hatékonyabb is. Ez akár 25-szörösére csökkenti a költségeket és az energiafogyasztást a H100-hoz képest – bár egy ilyen GPU ára 30 000 és 40 000 dollár közöttre várható.
Egy 1,8 milliárd paraméterű modell betanításához 8000 H100-as chipre és 15 megawattnyi áramra van szükség, de a cég szerint a Blackwell GPU-kból elég 2000 darab és mindössze 4 megawattnyi áram. Egy 175 milliárd paraméteres GPT-3 LLM benchmark teszten a GB200-as hétszer volt hatékonyabb, mint a H100-as, és a cég szerint négyszer gyorsabb betanítást tesz lehetővé. További fontos különbséget akkor lehet majd megtapasztalni, ha nagyszámú ilyen GPU-t összekapcsolnak (egy következő generációs NVLink kapcsolóval, amely lehetővé teszi, hogy 576 GPU kommunikáljon egymással, másodpercenként 1,8 terabájt kétirányú sávszélességgel). Ehhez az Nvidia-nak egy teljesen új hálózati switch chipet kellett építenie, amely 50 milliárd tranzisztorral és 3,6 teraflops FP8 saját fedélzeti számítási kapacitással bír. Korábban az Nvidia szerint egy mindössze 16 GPU-ból álló klaszter idejének 60 százalékát töltötte kommunikációval, és csak 40 százalékát ténylegesen számítástechnikával
Emögött többek között az áll, hogy a chipek papíron 20 petaflopnyi FP4-es számítási kapacitással rendelkezik, ami ötször erősebb, mint a H100-as. Ezen persze segít, hogy a valójában két csipet összeillesztő GB200-ason 208 milliárd tranzisztor található, míg a H100-as mindössze 80 milliárdból állt.
Ez persze inkább a vállalati ügyfeleknek izgalmas, ezért például olyan nagy házakban árulják a chipeket, amikbe például 360 CPU-t és 72 GPU-t zsúfoltak bele. Mindezt folyadékkal hűtik, és több mint három kilométernyi kábel tekertek bele. Ettől függetlenül a technológia később megjelenhet akár a videójátékokhoz készített videókártyákban is.
Forrás: www.theverge.com
Kép: nvidianews.nvidia.com
