Arista Networks heeft AI-datacen­ter­tech­no­logie aange­kon­digd, in samen­wer­king met NVIDIA, om computer- en netwerk­do­meinen op één lijn te brengen als één beheerde AI-entiteit. Voor het bouwen van optimale genera­tieve AI-netwerken die taken sneller verwerken, kunnen klanten AI-clusters op een uniforme wijze confi­gu­reren, beheren en monitoren. Dat kan vanaf nu over alle belang­rijke bouwstenen, waaronder netwerken, NIC’s en servers. Deze demon­stratie van nieuwe techno­logie is de eerste stap richting een multi-vendor, inter­o­pe­rabel ecosys­teem dat controle en coördi­natie tussen AI-netwerken en AI-compu­ters mogelijk maakt.

Behoefte aan uniforme controles 

Naarmate AI-clusters en grote taalmo­dellen (LLM’s) groeien, groeit ook de complexi­teit en het volume van andere delen van de totale AI-puzzel. GPU’s, NIC’s, switches, optics en kabels moeten optimaal samen­werken om een holis­tisch netwerk te vormen. Klanten hebben uniforme controles nodig tussen hun AI-servers die NIC’s en GPU’s hosten, en de AI-netwerks­wit­ches op verschil­lende niveaus. 

Alle elementen zijn van elkaar afhan­ke­lijk voor een correcte verwer­king van AI-taken, maar werken in de praktijk onafhan­ke­lijk van elkaar. Dit kan leiden tot een verkeerde confi­gu­ratie of verkeerde afstem­ming tussen onder­delen van het hele ecosys­teem, zoals tussen NIC’s en switches. Met als mogelijk gevolg een ongewenste impact op de voltooiing van taken in de tijd, omdat netwerk­pro­blemen moeilijk te diagnos­ti­ceren kunnen zijn. Grote AI-clusters vereisen tevens gecoör­di­neerd congestie­be­heer om pakket­ver­liezen en onder­be­nut­ting van GPU’s te voorkomen, evenals gecoör­di­neerd beheer en monito­ring om de computer- en netwerk­bronnen tegelij­ker­tijd te kunnen optimaliseren.

Introductie van de Arista AI-agent

De kern van de AI-oplos­sing is een op Arista EOS gebaseerde agent waarmee het netwerk en de host onder­ling kunnen commu­ni­ceren en confi­gu­ra­ties kunnen coördi­neren om AI-clusters te optima­li­seren. Met behulp van een externe AI-agent is het EOS op Arista-switches uit te breiden naar recht­streeks aange­sloten NIC’s en servers, om één centraal punt van controle en zicht­baar­heid in een AI-datacenter mogelijk te maken als holis­ti­sche oplossing. 

De externe AI-agent die direct op een NVIDIA BlueField‑3 SuperNIC wordt gehost, of op de server draait en teleme­trie van de SuperNIC verza­melt, stelt EOS in staat om op de netwerks­witch netwerk­pro­blemen op de server te confi­gu­reren, te monitoren en te debuggen, voor end-to-end netwerk­con­fi­gu­ratie en QoS-consis­tentie. AI-clusters zijn daardoor als één homogene oplos­sing te beheren en te optimaliseren.

End-to-end AI-communicatie en ‑optimalisatie

De nieuwe techno­logie laat zien hoe een op Arista EOS gebaseerde externe AI-agent het mogelijk maakt het gecom­bi­neerde, onder­ling afhan­ke­lijke AI-cluster als één totaal­op­los­sing te beheren. EOS die in het netwerk draait is uit te breiden naar servers of SuperNIC’s via externe AI-agents, om onmid­del­lijke tracking en rappor­tage van presta­tie­ver­min­de­ring of storingen tussen hosts en netwerken mogelijk te maken. Met als gevolg dat de veroor­za­kers snel kunnen worden geïso­leerd om de impact te reduceren. 

Omdat op EOS gebaseerde netwerks­wit­ches continu op de hoogte zijn van de exacte netwerk­t­o­po­logie, maakt het uitbreiden van EOS tot SuperNIC’s en servers met de externe AI-agent een gecoör­di­neerde optima­li­satie van end-to-end QoS tussen alle elementen in het AI-datacenter mogelijk. Daarmee is de verwer­kings­tijd van AI-taken aanzien­lijk te verkorten.

Efficiëntie communicatie verbeteren

“Arista streeft ernaar de effici­ëntie van de commu­ni­catie tussen het netwerk en de GPU-topologie te verbe­teren om de verwer­kings­tijden van alle taken te verbe­teren via een gecoör­di­neerde orkestratie, confi­gu­ratie, validatie en monito­ring van reken­kracht versneld door NVIDIA Super­NICs en Arista-netwer­k­in­fra­struc­tuur”, zegt John McCool, Chief Platform Officier voor Arista Networks.

“De beste Arista-netwerk­plat­formen gecom­bi­neerd met NVIDIA’s compu­ter­plat­formen en SuperNIC’s maken gecoör­di­neerde AI-datacen­ters mogelijk. De nieuwe mogelijk­heid om het Arista’s EOS uit te breiden met externe AI-agents op hosts belooft een oplos­sing te bieden bij een cruciale uitda­ging van klanten met groot­scha­lige AI-clusters. Dat is mogelijk door één centraal punt van controle en zicht­baar­heid te bieden om de beschik­baar­heid en presta­ties van AI te beheren als een holis­ti­sche oplos­sing”, zegt Zeus Kerra­vala, hoofd­ana­list bij ZK Research.

Lees meer over de nieuwe AI-datacen­ters in de blog van CEO en bestuurs­voor­zitter Jayshree Ullal.