De digital twin staat in de datacen­ter­we­reld op het punt een nieuwe fase in te gaan. Tot nu toe wordt de techno­logie vaak vooral geasso­ci­eerd met ontwerpsoft­ware, 3D-modellen en simula­ties van bijvoor­beeld lucht­stromen en tempe­ra­turen. Het Open Compute Project (OCP) schetst in een nieuwe white­paper echter een aanzien­lijk bredere toekomst. Digital twins moeten zich ontwik­kelen tot levende digitale modellen die gedurende de volle­dige levens­cy­clus van een datacenter worden gebruikt: van ontwerp en bouw tot capaci­teits­plan­ning, dagelijkse operatie, energie­op­ti­ma­li­satie en uitein­de­lijk zelfs voorspel­lend beheer.

Die ontwik­ke­ling is vooral interes­sant omdat datacen­ters technisch steeds complexer worden. AI-systemen brengen veel hogere vermo­gens­dicht­heden met zich mee, vloei­stof­koe­ling doet op grotere schaal zijn intrede en tegelij­ker­tijd worden eisen rond energie­ge­bruik, water­ver­bruik, beschik­baar­heid en duurzaam­heid steeds strenger. Een operator moet daardoor voort­du­rend kunnen overzien hoe veran­de­ringen in het ene techni­sche domein doorwerken in andere delen van de infrastructuur.

Juist daarvoor ziet OCP een belang­rijke rol voor digital twins. Het initi­a­tief wil een open en inter­o­pe­rabel ecosys­teem creëren waarin modellen van gebouwen, elektri­sche infra­struc­tuur, koelin­stal­la­ties, IT-hardware en duurzaam­heid uitein­de­lijk gegevens met elkaar kunnen uitwis­selen. Het doel is nadruk­ke­lijk niet één groot softwa­re­pakket, maar een verza­me­ling digitale modellen die samen steeds nauwkeu­riger weergeven hoe een fysiek datacenter zich gedraagt.

Van digitale kopie naar levend model

Het begrip digital twin wordt nogal eens ruim gebruikt. Een CAD-model, Building Infor­ma­tion Model of digitale platte­grond wordt soms al als digital twin gepre­sen­teerd. In de visie die OCP beschrijft, gaat het echter om iets anders.

Een volwaar­dige digital twin heeft een relatie met een werke­lijk fysiek systeem en wordt gevoed met gegevens uit die omgeving. Sensor­in­for­matie, teleme­trie, confi­gu­ra­tie­ge­ge­vens en histo­ri­sche data zorgen ervoor dat het digitale model voort­du­rend kan worden aange­past aan de situatie in het fysieke datacenter.

Het cruciale verschil zit daarmee in de dynamiek. Een tradi­ti­o­neel model laat zien hoe een instal­latie is ontworpen. Een digital twin moet steeds beter kunnen laten zien hoe die instal­latie zich op dit moment gedraagt, waarom dit gebeurt en mogelijk zelfs wat er in de komende minuten, uren of maanden gaat gebeuren.

Onder­zoek naar digital twins voor datacen­ters beschrijft bijvoor­beeld hoe gegevens uit netwerk­ver­keer, IT-systemen, tempe­ra­tuur- en vochtig­heids­sen­soren en facili­taire systemen kunnen worden samen­ge­bracht in één digitaal model. Dat opent de deur naar voorspel­lingen over tempe­ra­tuur, stroom­ge­bruik en de invloed van veran­de­ringen in de confi­gu­ratie. Dat maakt de digital twin poten­tieel veel interes­santer voor opera­tors dan een stati­sche visualisatie.

AI maakt de behoefte aan digital twins groter

De timing van het OCP-initi­a­tief is niet toevallig. De snelle opkomst van AI zorgt ervoor dat bestaande ontwerp- en beheer­me­thoden steeds verder onder druk komen te staan. Een tradi­ti­o­neel datacenter kende welis­waar aanzien­lijke verschillen tussen workloads, maar de vermo­gens­dicht­heid per rack bleef doorgaans binnen relatief voorspel­bare grenzen. Met clusters van GPU’s en andere AI-accele­ra­tors veran­dert dat beeld. Grote hoeveel­heden elektrisch vermogen worden op een veel kleiner opper­vlak gecon­cen­treerd, terwijl ook de hoeveel­heid warmte die moet worden afgevoerd sterk toeneemt.

Daarbij komt dat organi­sa­ties steeds vaker verschil­lende koeltech­no­lo­gieën naast elkaar gebruiken. Lucht­koe­ling kan gecom­bi­neerd worden met rear-door heat exchan­gers, direct-to-chip liquid cooling of andere vormen van vloei­stof­koe­ling. Ook de elektri­sche infra­struc­tuur veran­dert wanneer vermo­gens per rack toenemen. OCP noemt AI/ML-datacen­ters daarom expli­ciet als een van de omgevingen waar digital twins moeten helpen om infra­struc­tuur nauwkeu­riger en sneller te ontwerpen, imple­men­teren en beheren.

Een digitale twin kan bijvoor­beeld worden gebruikt voordat een nieuw GPU-cluster daadwer­ke­lijk wordt geplaatst. De operator kan het verwachte vermogen, de positie van de racks en het type koeltech­no­logie invoeren en vervol­gens simuleren wat de gevolgen zijn voor het totale systeem. Kan de elektri­sche infra­struc­tuur de extra belas­ting verwerken? Ontstaan op bepaalde plaatsen thermi­sche knelpunten? Is de capaci­teit van pompen, warmte­wis­se­laars of koelma­chines voldoende? Welke invloed heeft de uitbrei­ding op redun­dantie? En wat gebeurt er wanneer tegelij­ker­tijd een deel van de infra­struc­tuur uitvalt? In plaats van die vragen afzon­der­lijk te beant­woorden, kan een digital twin de onder­linge relaties zicht­baar maken.

Het datacenter is één technisch systeem

Dat laatste is wellicht de belang­rijkste gedachte achter de aanpak van OCP. Een modern datacenter bestaat organi­sa­to­risch vaak uit verschil­lende techni­sche werelden. IT-teams beheren servers en workloads. Facili­ty­teams kijken naar koeling, elektri­ci­teit en gebouw­in­stal­la­ties. DCIM-platformen registreren capaci­teit en appara­tuur. Building Manage­ment Systems verza­melen gegevens over techni­sche instal­la­ties. Daarnaast beschikken appara­tuur­le­ve­ran­ciers over hun eigen monito­ring- en beheersystemen.

Fysiek zijn al deze systemen echter nauw met elkaar verbonden. Een GPU die meer reken­werk uitvoert, gebruikt meer elektri­ci­teit. Dat elektri­sche vermogen wordt vrijwel volledig omgezet in warmte. Daardoor veran­dert de belas­ting van het koelsys­teem. Pompen, venti­la­toren en koelin­stal­la­ties moeten daarop reageren en gebruiken daarbij zelf weer extra energie.

De locatie van servers en racks speelt eveneens een rol. Een theore­tisch beschik­bare hoeveel­heid koelver­mogen betekent immers niet automa­tisch dat dit koelver­mogen op de juiste plaats en op het juiste moment beschik­baar is. OCP wil digital twins daarom inzetten voor simulatie, analyse en predic­tive modeling van onder meer power, cooling, ruimte­ge­bruik en de presta­ties van IT-appara­tuur. Die verschil­lende domeinen moeten uitein­de­lijk steeds meer als één systeem kunnen worden geanalyseerd.

Eerst digitaal veranderen, daarna fysiek

Een van de aantrek­ke­lijkste toepas­singen daarvan is wat-if-analyse. Datacen­ter­be­heer­ders zijn tradi­ti­o­neel voorzichtig met veran­de­ringen. Daar is een goede reden voor: in een bedrijfs­kri­ti­sche omgeving kan een verkeerde instel­ling of slecht voorspelde techni­sche aanpas­sing direct gevolgen hebben voor beschikbaarheid.

Met een voldoende betrouw­bare digital twin ontstaat de mogelijk­heid om wijzi­gingen eerst virtueel uit te voeren. Wat gebeurt er wanneer een rij racks anders wordt ingericht? Wat is het effect wanneer de tempe­ra­tuur van het koelwater wordt verhoogd? Hoe veran­dert het energie­ge­bruik wanneer bepaalde workloads worden verplaatst? Kan een hogere water­tem­pe­ra­tuur worden gebruikt om restwarmte beter bruik­baar te maken zonder dat hierdoor de thermi­sche marges van IT-appara­tuur te klein worden?

Dezelfde aanpak kan worden gebruikt voor grotere inves­te­rings­be­slis­singen. Een operator die overweegt een bestaand datacenter geschikt te maken voor AI kan verschil­lende ontwerpen digitaal verge­lijken voordat daadwer­ke­lijk leidingen, power distri­bu­tion units of koelin­stal­la­ties worden aange­past. Daarmee verschuift de digital twin van visua­li­sa­tie­tool naar beslissingsinstrument.

Ook storingen kunnen virtueel worden nagebootst

Misschien nog belang­rijker is het gebruik van digital twins voor resilience. Een datacenter wordt ontworpen om storingen op te kunnen vangen, maar veel scenario’s kunnen in een opera­ti­o­nele omgeving maar beperkt worden getest. Het bewust uitscha­kelen van kriti­sche techni­sche systemen om te kijken wat er gebeurt, brengt immers risico’s met zich mee.

In een digital twin bestaat die beper­king veel minder. OCP noemt onder meer fault predic­tion, het virtueel testen van failure scena­rios en het verbe­teren van disaster-recove­ry­plan­ning als toepassingsgebieden. 

Een operator zou bijvoor­beeld kunnen simuleren wat er gebeurt wanneer een koelunit uitvalt terwijl een AI-cluster vrijwel volledig wordt belast. Het digitale model kan vervol­gens laten zien hoe de tempe­ra­tuur zich waarschijn­lijk ontwik­kelt, hoeveel tijd beschik­baar is voordat kriti­sche grenzen worden bereikt en welke alter­na­tieve maatre­gelen het meest effec­tief zijn.

Hetzelfde geldt voor elektri­sche storingen. Wat gebeurt er bij het verlies van een voedingspad? Hoe verschuift de belas­ting naar redun­dante systemen? Ontstaan vervol­gens ergens anders capaci­teits­pro­blemen? Daarmee kan resilience veel dynami­scher worden benaderd dan alleen via ontwerp­be­re­ke­ningen en vaste redundantiecategorieën.

De volgende stap: voorspellen wat nog niet is gebeurd

De interes­santste ontwik­ke­ling ontstaat wanneer digital twins worden gecom­bi­neerd met machine learning. Een twin hoeft dan niet alleen weer te geven wat er op dit moment gebeurt. Op basis van histo­ri­sche en actuele data kan het systeem ook toekom­stige situa­ties voorspellen.

Onder­zoek naar HPC-datacen­ters laat bijvoor­beeld zien hoe machine-learning­mo­dellen kunnen worden gebruikt om tempe­ra­tuur- en energie­ge­re­la­teerde waarden vooruit te berekenen. Zo kan een model voorspellen dat de tempe­ra­tuur van een bepaalde node bij gelijk­blij­vende omstan­dig­heden binnen een bepaalde periode waarschijn­lijk een kriti­sche waarde bereikt.

Dat veran­dert de manier waarop een operator kan reageren. Tradi­ti­o­nele monito­ring genereert een alarm wanneer een grens­waarde wordt overschreden. Predic­tive monito­ring probeert te signa­leren dat die overschrij­ding waarschijn­lijk gaat plaats­vinden. Een digital twin kan daar nog een derde stap aan toevoegen: digitaal testen welke maatregel het beste resul­taat oplevert.

Moet bijvoor­beeld de venti­la­tor­snel­heid omhoog? Moet een workload worden verplaatst? Kan het debiet in een vloei­stof­koel­cir­cuit worden veran­derd? Of is het effici­ënter om capaci­teit elders beschik­baar te maken? Het digitale model kan verschil­lende scenario’s verge­lijken voordat een bestu­rings­sys­teem of operator daadwer­ke­lijk ingrijpt.

Van digital twin naar closed loop

Daarmee komt uitein­de­lijk ook een verder­gaande toepas­sing in beeld: een gesloten regel­kring tussen het fysieke datacenter en zijn digitale twin. Aan de ene kant leveren sensoren en beheer­sys­temen continu infor­matie aan het digitale model. De twin analy­seert deze gegevens, voorspelt toekom­stige situa­ties en berekent mogelijke optima­li­sa­ties. Aan de andere kant kunnen aanbe­ve­lingen of zelfs instel­lingen worden terug­ge­stuurd naar fysieke systemen.

OCP spreekt in zijn initi­a­tief nadruk­ke­lijk over realtime-optima­li­satie van opera­ti­o­nele effici­ëntie, energie­ge­bruik en resource utili­za­tion door een continue koppe­ling tussen fysieke systemen en digitale modellen. Daarmee zou de digital twin uitein­de­lijk onder­deel kunnen worden van de bestu­rings­ar­chi­tec­tuur van het datacenter.

Dat betekent overi­gens niet noodza­ke­lijk dat software zelfstandig alle instal­la­ties bestuurt. Er zijn verschil­lende niveaus van automa­ti­se­ring denkbaar. Een twin kan uitslui­tend advies geven aan opera­tors, wijzi­gingen ter goedkeu­ring voorleggen of binnen nauwkeurig afgeba­kende marges zelfstandig instel­lingen aanpassen. Voor bedrijfs­kri­ti­sche infra­struc­tuur zullen betrouw­baar­heid, validatie en duide­lijk vastge­legde grenzen daarbij vanzelf­spre­kend essen­tieel zijn.

Duurzaamheid wordt eveneens een modelleerprobleem

OCP koppelt digital twins ook nadruk­ke­lijk aan duurzaam­heid. Daarbij gaat het verder dan alleen het optima­li­seren van PUE. Het initi­a­tief noemt energie- en water­ge­bruik, lifecycle assess­ments, circu­la­ri­teit en het herge­bruik van restwarmte. Ook hier kan vooral de mogelijk­heid om scenario’s te verge­lijken interes­sant worden. Stel dat een operator het koelwater op een hogere tempe­ra­tuur wil laten functi­o­neren om restwarmte eenvou­diger te kunnen leveren aan een warmtenet. Met een digital twin kan worden onder­zocht wat dit betekent voor tempe­ra­turen van chips, pompca­pa­ci­teit, koelver­mogen en energiegebruik.

Ook verschil­lende uitbreidingsscenario’s kunnen op duurzaam­heid worden beoor­deeld. Is het bijvoor­beeld effici­ënter om binnen een bestaande facili­teit hogere rackdicht­heden toe te staan of extra datacen­ter­ruimte te bouwen? Welke gevolgen hebben verschil­lende koelar­chi­tec­turen voor water- en elektri­ci­teits­ge­bruik? Een digital twin kan daarmee een verbin­dende laag vormen tussen opera­ti­o­nele optima­li­satie en duurzaamheidsanalyse.

Het grootste probleem is niet modelleren, maar data uitwisselen

Er zit echter een belang­rijke voorwaarde aan deze visie. Een datacenter kan alleen als integraal systeem digitaal worden gemodel­leerd wanneer systemen infor­matie met elkaar kunnen uitwis­selen. Juist daar ligt momen­teel een groot probleem. Hardwa­re­le­ve­ran­ciers, softwa­re­be­drijven, DCIM-platformen, koeltech­no­logie, gebouw­be­heer­sys­temen en elektri­sche instal­la­ties gebruiken allemaal verschil­lende datamo­dellen en interfaces.

Een tempe­ra­tuur van 30 graden is op zichzelf simpel. Maar een digital twin moet ook weten waar die tempe­ra­tuur is gemeten, welk fysiek compo­nent erbij hoort, welke andere compo­nenten daarvan afhan­ke­lijk zijn en hoe de meting zich verhoudt tot bijvoor­beeld workload, koelwa­ter­de­biet en elektrisch vermogen.

Daarvoor zijn seman­tiek en gemeen­schap­pe­lijke datamo­dellen minstens zo belang­rijk als sensoren. Dat verklaart waarom OCP standaar­di­satie centraal stelt in het initi­a­tief. De organi­satie wil open standaarden en speci­fi­ca­ties ontwik­kelen voor data inter­change, datamo­dellen, inter­faces en commu­ni­ca­tie­pro­to­collen. Modellen moeten boven­dien tussen verschil­lende digital-twinap­pli­ca­ties kunnen worden uitgewisseld.

Vendor lock-in ligt ook bij digital twins op de loer

Dat open karakter is niet alleen technisch belang­rijk. Wanneer een operator jaren­lang data verza­melt en zeer gedetail­leerde digitale modellen van een datacenter opbouwt, verte­gen­woor­digen die modellen grote opera­ti­o­nele waarde. Als al die infor­matie uitslui­tend bruik­baar is binnen het platform van één softwa­re­le­ve­ran­cier, kan een nieuwe vorm van vendor lock-in ontstaan. OCP noemt het voorkomen daarvan expli­ciet als reden om uitwis­sel­bare datamo­dellen te ontwikkelen.

Een open ecosys­teem zou het bijvoor­beeld mogelijk moeten maken om een thermisch model in de ene appli­catie te ontwik­kelen en gegevens daarvan in een andere omgeving te gebruiken voor capaci­teits­plan­ning of duurzaam­heids­ana­lyse. Daarmee wordt inter­o­pe­ra­bi­li­teit een voorwaarde voor de schaal­baar­heid van digital twins.

Niet één twin, maar meerdere gekoppelde twins

Interes­sant is boven­dien dat OCP niet noodza­ke­lijk uitgaat van één gigan­tisch digitaal model van een compleet datacenter. Binnen het initi­a­tief worden verschil­lende catego­rieën onder­scheiden. De eerste focus ligt onder meer op digital twins van datacen­ter­fa­ci­li­teiten, IT-hardware en environ­mental & sustai­na­bi­lity twins.

Dat wijst op een archi­tec­tuur waarin verschil­lende gespe­ci­a­li­seerde twins naast elkaar kunnen bestaan. Een fabri­kant kan bijvoor­beeld een digitaal model van een server, accele­rator of rack leveren. Een leveran­cier van koeltech­no­logie kan een twin van zijn instal­latie aanbieden. De datacen­ter­o­pe­rator beschikt onder­tussen over een model van de volle­dige facili­teit. Wanneer die modellen dezelfde defini­ties en inter­faces gebruiken, kunnen ze aan elkaar worden gekop­peld. Dat is in de praktijk waarschijn­lijk realis­ti­scher dan proberen één leveran­cier een perfect model van alle mogelijke techni­sche domeinen te laten ontwikkelen.

Ook hardwareleveranciers krijgen hierdoor een andere rol

Dat heeft interes­sante gevolgen voor fabri­kanten. In een toekom­stig digital-twin-ecosys­teem zou bij een fysiek product niet alleen techni­sche documen­tatie kunnen worden geleverd, maar ook een digitaal model dat het gedrag van dat product beschrijft.

Bij een server kan dat bijvoor­beeld infor­matie bevatten over elektrisch vermogen, warmte­pro­ductie, airflow of het gedrag bij verschil­lende workloads. Voor een koelin­stal­latie kan een model beschrijven hoe capaci­teit en effici­ëntie veran­deren bij verschil­lende tempe­ra­turen en belastingen.

OCP wil juist samen­wer­king tussen datacen­ter­o­pe­ra­tors, hardwa­re­fa­bri­kanten, softwa­re­ont­wik­ke­laars en onder­zoeks­or­ga­ni­sa­ties stimu­leren. Open reference designs, white­pa­pers, tools en metho­dieken moeten vervol­gens de toepas­sing van de techno­logie vereen­vou­digen. Wanneer dat lukt, wordt een digital twin steeds minder iets dat een operator volledig zelf moet bouwen.

De digital twin wordt onderdeel van de infrastructuur

Daarmee ontstaat uitein­de­lijk een veel breder beeld van digital twins dan we tot nu toe vaak in datacen­ters zien. De eerste generatie digitale modellen hielp vooral ontwer­pers begrijpen hoe lucht, warmte en energie zich door een datacenter bewegen. De volgende generatie kan steeds meer opera­ti­o­nele data opnemen. Daarna komen predic­tive analy­tics, AI en automa­ti­sche optima­li­satie in beeld. De digital twin veran­dert daarmee gelei­de­lijk van een model van het datacenter in techno­logie binnen het opera­ti­o­nele datacenter.

Dat is met name relevant nu infra­struc­turen dynami­scher worden. AI-clusters brengen hoge en sterk gecon­cen­treerde belas­tingen met zich mee. Elektri­ci­teits­netten hebben in veel regio’s beperkte capaci­teit. Opera­tors willen energie zo efficiënt mogelijk gebruiken en tegelij­ker­tijd beschik­bare capaci­teit maximaal benutten. Nieuwe koelme­thoden moeten worden gecom­bi­neerd met bestaande infrastructuur.

Bij al deze vraag­stukken geldt hetzelfde probleem: het is steeds moeilijker om veran­de­ringen in één technisch onder­deel los te zien van de rest van het systeem. Precies daar ligt de belang­rijkste belofte van de digital twin zoals OCP die voor zich ziet. Niet een fraaie digitale weergave van racks en koelin­stal­la­ties, maar een technisch model waarmee beheer­ders kunnen begrijpen wat er gebeurt, voorspellen wat er gaat gebeuren en testen wat de beste reactie daarop is.

Als open standaarden en inter­o­pe­ra­bi­li­teit voldoende van de grond komen, kan de digital twin daarmee uitgroeien tot een nieuwe digitale bestu­rings­laag over het datacenter: tussen IT, power, cooling en facility manage­ment in. En juist nu AI de dicht­heid en complexi­teit van datacen­ters snel verhoogt, kan zo’n integrale kijk op de infra­struc­tuur steeds minder een luxe en steeds meer een prakti­sche noodzaak worden.