In een tijdperk waarin kunst­ma­tige intel­li­gentie (AI) zijn stempel drukt op elk facet van de techno­lo­gi­sche vooruit­gang, is de noodzaak voor robuus­tere, flexi­be­lere en snellere netwer­k­in­fra­struc­turen nog nooit zo groot geweest. Geleid door de bekende namen zoals Cisco, Arista, HPE en Intel en gesteund door de Linux Founda­tion, is het gloed­nieuwe Ultra Ethernet Consor­tium (UEC) gelan­ceerd met als doel het maxima­li­seren van de schaal­baar­heid, stabi­li­teit en betrouw­baar­heid van Ethernet-netwerken.

Terwijl we de 50ste verjaardag van Ethernet vieren, blijft de flexi­bi­li­teit en aanpas­baar­heid de sterkste troeven. Ethernet zal ongetwij­feld een centrale rol spelen in de onder­steu­ning van AI-infra­struc­turen. Maar met de groei­ende eisen van AI zijn er zorgen over de mogelijk­heid van de huidige netwerk­ver­bin­dingen om te voldoen aan de vereiste presta­ties en 

De uitdaging van AI-workloads

AI-werklasten zijn zowel gegevens- als reken­in­ten­sief. Grote taalmo­dellen zoals GPT‑3 en DLRM zijn zo uitge­breid dat parame­ters worden verdeeld over duizenden proces­sors. Elk vertra­ging vanwege een slecht netwerk kan de presta­ties van een AI-toepas­sing kritisch beïnvloeden. 

In het verleden waren de opties voor het verbinden van proces­sor­cores en geheugen beperkt tot inter­con­nec­ties zoals Infini­Band en PCI Express. Deze techno­lo­gieën hebben echter hun beper­kingen, vooral als het gaat om AI-workloadvereisten.

De oplossing van UEC

Het Ultra Ethernet Consor­tium stelt voor om de beper­kingen van tradi­ti­o­nele RDMA-proto­collen te herover­wegen en te vervangen. In een recente white­paper beschrijft de UEC een aantal kernfunc­ties van hun nieuwe Ethernet-specificatie:

- Multi-pathing en packet spraying: Hierdoor kunnen AI-werkstromen tegelij­ker­tijd toegang hebben tot een bestemming.

- Flexi­bele leverings­volg­orde: Dit zorgt voor een optimale balans van Ethernet-links, waarbij de volgorde alleen wordt afgedwongen wanneer dit nodig is.

- Moderne congestie­con­tro­le­me­cha­nismen: Deze mecha­nismen zorgen ervoor dat AI-werklasten hotspots vermijden en de belas­ting gelijk­matig over meerdere paden verdelen.

- End-to-end teleme­trie: Deze teleme­trie helpt bij het beheren van congestie en het identi­fi­ceren van de oorzaak ervan.

Boven­dien benadrukt de UEC dat hun trans­port­ont­werp vanaf het begin netwerk­be­vei­li­ging integreert, waarbij alle netwerk­ver­keer tussen computa­ti­o­nele eindpunten in een AI-training of inferen­tiejob wordt geëncryp­teerd en geverifieerd.

Met de groei­ende eisen van AI en andere geavan­ceerde techno­lo­gieën is de vorming van het Ultra Ethernet Consor­tium een welkome ontwik­ke­ling. Door de krachten van grote spelers in de industrie te bundelen, belooft de UEC een robuus­tere en effici­ën­tere netwer­k­in­fra­struc­tuur die de volgende generatie AI-innova­ties kan ondersteunen.