Het jonge hardwarebedrijf d‑Matrix heeft zijn eerste AI-processor, genaamd Corsair, geïntroduceerd. Deze processor belooft een belangrijke nieuwe stap teweeg te brengen in AI-inferencing door het gebruik van traditionele GPU’s en dure high-bandwidth memory (HBM) overbodig te maken. Met steun van Microsoft en samenwerking met Micron Technology, een belangrijke partner van Nvidia, biedt de Corsair-processor krachtige prestaties tegen lagere kosten.
De Corsair-processor is specifiek ontworpen voor generatieve AI-toepassingen en is gebaseerd op Digital In-Memory Computation (DIMC). Dit is een technologie die zorgt voor een ongekende geheugendoorvoersnelheid van 150 TB/s. Dit maakt het mogelijk om grote AI-modellen efficiënt te draaien zonder de gebruikelijke afhankelijkheid van dure hardware zoals GPU’s.
De Corsair kan bijvoorbeeld:
- 60.000 tokens per seconde genereren bij 1 milliseconde per token met modellen zoals Llama3 8B op één enkele server.
- Voor grotere modellen zoals Llama3 70B, behaalt Corsair 30.000 tokens per seconde bij 2 milliseconden per token, in een enkele rackopstelling.
Deze prestaties resulteren in aanzienlijk lagere energiekosten en operationele uitgaven, wat vooral aantrekkelijk is voor bedrijven die op grote schaal AI-oplossingen implementeren.
De Corsair-processor maakt gebruik van een modulaire architectuur:
• Gebaseerd op Nighthawk- en Jayhawk II-tegels, gebouwd met een 6nm productieproces.
• Elke Nighthawk-tegel bevat vier neurale cores en een RISC‑V CPU, speciaal ontworpen voor inference van grote modellen.
• Chiplet-packaging integreert geheugen en computation voor maximale efficiëntie, met ondersteuning voor een breed scala aan datatypes, waaronder block floating point (BFP).
De Corsair-kaarten volgen de PCIe Gen5-standaard en bieden een piekvermogen van 2400 TFLOPs in 8‑bit berekeningen, 2GB geïntegreerd geheugen en tot 256GB extern geheugen.
De ontwikkeling van Corsair vond plaats in nauwe samenwerking met Micron Technology. Hoewel het oorspronkelijke ontwerp al in 2023 zou debuteren, heeft d‑Matrix het aangepast om in te spelen op de groeiende vraag naar generatieve AI en transformer-gebaseerde toepassingen, zoals agentic AI en interactieve videogeneratie. Sid Sheth, medeoprichter en CEO van d‑Matrix, benadrukt het belang van deze verschuiving: “We zagen de opkomst van transformers en generatieve AI en hebben d‑Matrix opgericht om de uitdagingen rond inference aan te pakken. Corsair maakt commercieel levensvatbare AI mogelijk door razendsnelle tokenproductie en hoge interactiviteit.”
Corsair is momenteel beschikbaar voor early-access klanten, met een bredere lancering gepland voor het tweede kwartaal van 2025. Bedrijven die afhankelijk zijn van geavanceerde AI-toepassingen kunnen profiteren van deze nieuwe technologie, die zowel kostenefficiënt als toekomstbestendig is.
0 reacties