Mirantis, actief met open-source cloud­in­fra­struc­tuur en platfor­men­gi­nee­ring, kondigt vandaag aan dat de Neder­landse private cloud provider Nebul heeft gekozen voor open-source k0rdent. Met deze on-demand dienst kunnen klanten AI-inferen­cing in productie draaien. Dit stelt hen in staat om getrainde modellen toe te passen op nieuwe data en zo nauwkeu­rige voorspel­lingen of beslis­singen te genereren.

Sinds de oprich­ting richt Nebul zich op privacy en soeve­rei­ni­teit, met een brede Europese dekking. Het bedrijf is een pionier in high-perfor­mance compu­ting, Artifi­cial Intel­li­gence (AI) en machine learning techno­lo­gieën, waarbij het de reken­kracht van NVIDIA-proces­sors benut. Nebul zet k0rdent in, een Kuber­netes-native multi-cluster­be­heer­op­los­sing die is geïnte­greerd met NVIDIA GPU Operator en Gcore Every­where Inference, (meer details in deze case study).

Nebul onder­steunt gedis­tri­bu­eerde AI-inferen­cing binnen zijn infra­struc­tuur, waardoor lage latentie en hoge presta­ties worden geleverd. Dynamisch toege­wezen verwer­kings­bronnen voldoen aan de vraag, terwijl beleids­ge­stuurde automa­ti­se­ring zorgt voor een optimale benut­ting van GPU’s en maximale efficiëntie.

“Wij geloven dat open source de sleutel is tot infra­struc­tuur die AI onder­steunt,” zegt Alex Freed­land, medeop­richter en CEO van Mirantis, de beheerder van k0rdent. “Nebul laat het enorme poten­tieel van open techno­lo­gieën zien om één van de meest complexe IT-uitda­gingen van vandaag op te lossen: het betrouw­baar en op schaal leveren van AI-workloads.”

k0rdent, dat vorige maand werd gelan­ceerd, helpt platfor­men­gi­neers bij het beheren van de groei­ende infra­struc­tuur en opera­ti­o­nele complexi­teit over cloud­pro­vi­ders, on-premises infra­struc­tuur en edge-apparaten. Het vereen­vou­digt onder­houd met decla­ra­tive automa­tion, centrale handha­ving van beleids­re­gels en produc­tieklare sjablonen die zijn geopti­ma­li­seerd voor moderne workloads. k0rdent is volledig modulair en maakt gebruik van de open-source Cluster API, waardoor Kuber­netes-clusters overal kunnen worden gecre­ëerd en bestaande clusters eenvoudig kunnen worden ingezet.“Nu de vraag naar AI-diensten groeit, was onze uitda­ging om onze bestaande infra­struc­tuur over te zetten,” zegt Arnold Juffer, CEO en oprichter van Nebul, een NVIDIA Elite Partner, Cloud Partner en Solution Provider. “Door k0rdent in te zetten, kunnen we onze diverse infra­struc­tuur effec­tief verenigen over OpenStack en bare metal Kuber­netes, terwijl we afscheid nemen van de VMware-techno­logie en volledig overstappen op open source. Dit stroom­lijnt onze opera­ties en versnelt onze transitie naar Inference-as-a-Service voor zakelijke klanten. Zij kunnen hun getrainde AI-model nu eenvoudig naar hun data brengen en uitvoeren, met volle­dige zeker­heid over privacy en soeve­rei­ni­teit, conform de regel­ge­ving. Zo simpel is het.”

“Zoals Nebul aantoont, vereist groot­scha­lige AI-inferen­cing een infra­struc­tuur die zich dynamisch aanpast aan de behoeften van eindklanten, zodat AI-toepas­singen voldoen aan de zakelijke eisen op het gebied van kosten en presta­ties,” aldus Seva Vayner, product­di­rec­teur Edge Cloud en Edge AI bij Gcore. “Ons Every­where Inference-product biedt een uiterst eenvou­dige portal om AI-inferen­cing te imple­men­teren en beheren, terwijl Smart Routing ervoor zorgt dat inference-taken naar de dichtst­bij­zijnde GPU’s worden gestuurd voor de laagste latentie.”