Cloudera intro­du­ceert Cloudera AI Inference, aange­stuurd door NVIDIA NIM-micro­ser­vices, onder­deel van het NVIDIA AI Enter­prise-platform. Als een van de eerste services voor AI-inferentie die ingebouwde NIM-micro­ser­vi­ce­mo­ge­lijk­heden biedt, stroom­lijnt Cloudera AI Inference de imple­men­tatie en het beheer van groot­scha­lige AI-modellen. Daarmee kunnen organi­sa­ties het volle­dige poten­tieel van hun data benutten, om GenAI van pilot­fases naar het opera­ti­o­neel gebruik te brengen.

Gevoelige data beschermen

Recente data van Deloitte onthult dat de grootste barri­ères voor GenAI-accep­tatie compliancerisico’s en gover­nance-zorgen zijn. Toch groeit de accep­tatie van GenAI gestaag en heeft ruim twee derde van de onder­vraagde organi­sa­ties hun GenAI-budgetten in Q3 van dit jaar verhoogd. Om deze zorgen weg te nemen, moeten bedrijven overstappen op het privé uitvoeren van AI-modellen en ‑appli­ca­ties, of dit nu on-premises of in openbare clouds is. Deze veran­de­ring vereist veilige en schaal­bare oplos­singen die complexe doe-het-zelfbe­na­de­ringen vermijden.

Cloudera AI Inference beschermt gevoe­lige data tegen lekken naar niet-private, door leveran­ciers gehoste AI-models­er­vices, door veilige ontwik­ke­ling en imple­men­tatie onder de controle van de eigen organi­satie te bieden. De nieuwe service wordt aange­stuurd door NVIDIA-techno­logie en helpt bij het bouwen van vertrouwde data voor vertrouwde AI met hoge verwer­kings­snel­heden. Dit maakt effici­ënte ontwik­ke­ling van AI-gestuurde chatbots, virtuele assis­tenten en agenti­sche appli­ca­ties mogelijk, wat zowel de produc­ti­vi­teit als de groei van organi­sa­ties beïnvloedt.

Samenwerking met NVIDIA

De intro­ductie van Cloudera AI Inference volgt kort op de samen­wer­king van het bedrijf met NVIDIA. Het benadrukt Cloudera’s toewij­ding aan het stimu­leren van AI-innovatie op een cruciaal moment, nu bedrijven zich een weg banen door de complexi­teit van digitale trans­for­matie en AI-integratie.

Ontwik­ke­laars kunnen zakelijke LLM’s bouwen, aanpassen en imple­men­teren, met tot 36x snellere verwer­king door NVIDIA Tensor Core GPUs en bijna 4x sneller verge­leken met CPU’s. De gebrui­ker­s­er­va­ring integreert de UI en API’s recht­streeks met NVIDIA NIM micro­ser­vi­ce­con­tai­ners, waardoor de noodzaak voor opdracht­re­ge­lin­ter­faces (CLI) en afzon­der­lijke bewakings­sys­temen wordt geëli­mi­neerd. De service-integratie met Cloudera’s AI Model Registry verbe­tert ook de bevei­li­ging en gover­nance door toegangs­con­troles, te beheren voor zowel model-eindpunten als ‑bewer­kingen. Gebrui­kers profi­teren van een uniform platform waar alle modellen, zowel LLM-imple­men­ta­ties als tradi­ti­o­nele modellen, worden beheerd met één service.

Tot de belang­rijke functies van Cloudera AI Inference behoren: 

• Geavan­ceerde AI-mogelijk­heden: gebruik NVIDIA NIM-micro­ser­vices om open-source LLM’s, waaronder LLama en Mistral, te optima­li­seren voor geavan­ceerde ontwik­ke­lingen in natuur­lijke taalver­wer­king (NLP), computer vision en andere AI-domeinen.
• Hybride cloud en privacy: verwerk workloads on-prem of in de cloud, met VPC-imple­men­ta­ties voor verbe­terde bevei­li­ging en naleving van regelgeving.
• Schaal­baar­heid en monito­ring: vertrouw op automa­ti­sche schaal­baar­heid, hoge beschik­baar­heid (HA) en realtime presta­tie­trac­king, om problemen te detec­teren en te corri­geren en efficiënt resourcebeheer.
• Open API’s en CI/CD-integratie: krijg toegang tot API’s die voldoen aan standaarden voor de imple­men­tatie, beheer en monito­ring van modellen voor naadloze integratie met CI/CD-pipelines en MLOps-workflows.
• Zakelijk bevei­li­gings­ni­veau: dwing toegang tot modellen af met functies voor service-accounts, toegangs­con­trole, lineage en auditing.
• Risico­be­heerde imple­men­tatie: voer A/​B‑testen en canary-uitrol uit voor gecon­tro­leerde modelupdates.

“Bedrijven willen graag inves­teren in GenAI, maar dat vereist niet alleen schaal­bare data, maar ook veilige, compliant en goed beheerde data”, aldus markt­ana­list Sanjeev Mohan. “Het op grote schaal in gebruik nemen van AI intro­du­ceert complexi­teit die DIY-benade­ringen moeilijk kunnen aanpakken. Cloudera AI Inference biedt uitkomst door geavan­ceerd databe­heer te integreren met de AI-exper­tise van NVIDIA, waardoor het volle­dige poten­tieel van data te ontsluiten is en tegelij­ker­tijd wordt beschermd. Met zakelijke bevei­li­gings­func­ties zoals service-accounts, toegangs­con­trole en audit kunnen organi­sa­ties hun data met vertrouwen beschermen en workloads on-prem of in de cloud uitvoeren. Zo worden AI-modellen efficiënt geïmple­men­teerd met de benodigde flexi­bi­li­teit en governance.”

“Het verheugt ons samen te werken met NVIDIA om Cloudera AI Inference op de markt te brengen, waarmee we een enkel AI/ML-platform bieden dat bijna alle modellen en toepas­singen onder­steunt. Vanaf nu kunnen bedrijven zowel krach­tige AI-apps maken met onze software, als die AI-apps ook in Cloudera uitvoeren”, zegt Dipto Chakra­varty, Chief Product Officer bij Cloudera. “Met de integratie van NVIDIA AI, die slimmere besluit­vor­ming mogelijk maakt door geavan­ceerde presta­ties, innoveert Cloudera voor klanten door vertrouwde AI-apps te bouwen met vertrouwde data op grote schaal.”

“Bedrijven moeten tegen­woordig genera­tieve AI naadloos integreren met hun bestaande infra­struc­tuur aan data, om de resul­taten te stimu­leren”, aldus Kari Briski, vice presi­dent van AI-software, modellen en services bij NVIDIA. “Door NVIDIA NIM-micro­ser­vices op te nemen in Cloudera’s AI Inference-platform, stellen we ontwik­ke­laars in staat om eenvoudig betrouw­bare genera­tieve AI-appli­ca­ties te maken en tegelij­ker­tijd een zelfvoor­zie­nend AI-datavlieg­wiel te faciliteren”.