EuroWire , SAN FRANCISCO : Společnost Microsoft 26. ledna představila Maia 200, druhou generaci svého interního akcelerátoru umělé inteligence, který byl navržen pro spouštění modelů umělé inteligence v produkčním prostředí v datových centrech Azure. Společnost uvedla, že Maia 200 je navržena pro inferenci, tedy fázi, ve které trénované modely generují odpovědi na živé požadavky, a bude použita k podpoře řady služeb umělé inteligence od Microsoftu.
Maia 200 se vyrábí 3nanometrovým procesem společnosti TSMC a obsahuje více než 140 miliard tranzistorů, uvedl Microsoft . Čipy využívají nový paměťový systém, který zahrnuje 216 gigabajtů paměti HBM3e s vysokou šířkou pásma a přibližně 272 megabajtů integrované paměti SRAM, jehož cílem je zvládat generování tokenů ve velkém měřítku a další úlohy vyžadující značné inference.
Společnost Microsoft uvedla, že Maia 200 poskytuje výkon více než 10 petaflopů s přesností na 4 bity a přibližně 5 petaflopů s přesností na 8 bitů, což jsou formáty běžně používané pro efektivní provoz moderní generativní umělé inteligence . Společnost také uvedla, že systém je navržen s výkonem 750 wattů a je postaven se škálovatelnou sítí, takže čipy lze propojit pro větší nasazení.
Společnost uvedla, že nový hardware začal být zaváděn do provozu v datovém centru Azure US Central v Iowě a plánuje se další umístění v Arizoně. Microsoft popsal Maia 200 jako svůj dosud nejefektivnější inferenční systém a oznámil 30% zlepšení výkonu na dolar ve srovnání se stávajícími inferenčními systémy.
Zaměření na inferenci umělé inteligence a nasazení Azure
Společnost Microsoft uvedla, že čip Maia 200 je určen k podpoře produktů a služeb umělé inteligence, které se spoléhají na velkoobjemové provádění modelů s nízkou latencí, včetně úloh běžících v Azure a vlastních aplikacích společnosti Microsoft. Společnost uvedla, že čip a okolní systém navrhla jako součást komplexního infrastrukturního přístupu, který zahrnuje křemík, servery, sítě a software pro nasazení modelů umělé inteligence ve velkém měřítku.
Spolu s čipem společnost Microsoft oznámila předběžný přístup k vývojářské sadě pro software Maia pro vývojáře a výzkumníky pracující na optimalizaci modelů. Společnost uvedla, že tento nástroj má pomoci týmům s kompilací a laděním modelů pro systémy založené na platformě Maia a je strukturován tak, aby zapadal do běžných pracovních postupů vývoje umělé inteligence používaných pro nasazení inference v cloudu.
Tvrzení o výkonu a podpora modelu
Společnost Microsoft uvedla, že čip Maia 200 je navržen pro spouštění rozsáhlých jazykových modelů a pokročilých systémů uvažování a že bude používán pro interní a hostované nasazení modelů v Azure. Společnost umístila čip jako akcelerátor produkční inference, čímž jej odlišuje od systémů zaměřených na trénování, které se obvykle používají k vytváření modelů před nasazením.
Společnost Microsoft urychlila práci na zakázkovém křemíku, protože rostla poptávka po výpočetních technologiích pro generativní aplikace umělé inteligence, kde náklady a dostupnost akcelerátorů mohou ovlivnit rychlost škálování služeb. Maia 200 navazuje na Maia 100, kterou Microsoft představil v roce 2023, a představuje nejnovější verzi své specializované řady akcelerátorů umělé inteligence pro inferenci v datových centrech.
Příspěvek Maia 200 vylepšuje Microsoft Azure o nový inferenční křemík pro umělou inteligenci se poprvé objevil na North Briton .