Energie-effici­ëntie en effec­tieve koeling in datacen­ter­kasten met steeds krach­ti­gere en warmte­ge­ne­re­rende proces­soren, zoals GPU’s, blijven een hot topic. De tempe­ra­turen in datacen­ters lopen momen­teel op tot boven de 22 ^° C in een cold aisle-confi­gu­ratie, tegen­over 16 of 17^° C voorheen. De trend is dat de tempe­ra­turen in deze omgevingen blijven toenemen door de steeds krach­ti­gere proces­soren en meer kabel­con­so­li­da­ties in datacenterkasten.

Naarmate datacen­ters en andere gebrui­kers afstappen van de stabi­li­teit van IT-omgevingen waar racks gemid­deld tussen de 4 en 6 kilowatt (kW) per rack verbruikten en voldeden aan de klimaat­richt­lijnen van ASHRAE, zijn de nieuwste GPU’s krach­tiger en produ­ceren ze meer warmte. Een NVIDIA DGX-server, zoals de DGX A100, verbruikt ongeveer 6,5 kW bij z’n volle­dige capaci­teit, terwijl standaard­ser­vers doorgaans tussen de 500 en 1200 watt verbruiken.

Warme en koude zones

Het onder­scheiden van warme en koude zones in de racks is zowel belang­rijk als effec­tief gebleken in proces­sor­rack­con­fi­gu­ra­ties. Een essen­tieel onder­deel in het rack, dat de datarou­te­ring en de conti­nu­ï­teit van de dienst­ver­le­ning waarborgt, is de commu­ni­ca­ties­witch. Dit onder­deel in een zogeheten Top of Rack (ToR)-configuratie en moet worden voorzien van een geschikt koelka­naal om overver­hit­ting te voorkomen, met mogelijk rampza­lige gevolgen.

ToR-switches worden meestal in een omgekeerde confi­gu­ratie geplaatst ten opzichte van de servers die ze onder­steunen, waardoor ze naar de achter­deuren gericht zijn en toegan­ke­lijk zijn vanaf de warme uitlaat­zijde van de kast. De ToR-switch is meestal boven in de kast gemon­teerd en neemt doorgaans ongeveer de helft van de RU-diepte in beslag. Vaak is er weinig tot geen directe koeling aanwezig. Hierdoor kan de ToR-switch de warme lucht­stroom van de uitlaat van de servers die eronder in dezelfde kast zijn geïnstal­leerd, aanzuigen.

Een recent klant­pro­ject illustreert deze situatie. In een datahal stonden ongeveer 300 server­kasten en de operator onder­vond steeds meer problemen en storingen met de appara­tuur. Bij inspectie bleek dat de ToR-switches in de instal­latie bovenaan en aan de achter­kant van de kasten waren gemon­teerd. Boven­dien waren de fronten van de server­units (RU’s) ter hoogte van de switches voorzien van afdek­platen om te voorkomen dat warme uitlaat­gassen terug de koude omgeving in ontsnapten. Dit verhin­derde echter dat koele lucht de ruimte in werd gezogen om de switches te venti­leren. Of er oorspron­ke­lijk een aanslui­ting voor koele lucht via de voorkant van de kast was ontworpen, is onbekend, maar ten tijde van de inspectie bleek er geen toegang voor koele lucht voor de switches te zijn.

De dicht­heid van actieve appara­tuur blijft toenemen, en daarmee ook de energie die nodig is om alle appara­tuur te laten werken. Dit verhoogt de hoeveel­heid warmte die in de kast wordt afgevoerd, waardoor de ruimte rond de ToR-switch­mo­ge­lijk opwarmt. Dit kan de effec­ti­vi­teit van deze switch vermin­deren en zelfs de werking ervan in gevaar brengen.

In het scenario van de klant was het van belang ervoor te zorgen dat het voorge­stelde apparaat een continu koelende lucht­stroom direct naar de switch zou garan­deren. Deze mocht ook niet negatief beïnvloed worden door upgrades van andere actieve appara­tuur in de kasten. De gekozen lucht­in­laat­goot is een passief apparaat met een afmeting van 2 RU, speciaal ontworpen voor netwerk­kasten, en is in lijn met de switch geplaatst. De plaat­sing in de kast, met de geper­fo­reerde inlaat­plaat aan de voorzijde in het koude gangpad, zorgt voor een onbelem­merde koelende lucht­stroom naar de switch. Deze optima­li­seert de thermi­sche effici­ëntie, omdat de lucht door de switch wordt aange­zogen en in het warme gangpad wordt afgevoerd en gerecirculeerd.

De modulaire inlaat­goot voor ToR-switches van Panduit is ontworpen met CFD-model­le­ring en thermi­sche labora­to­ri­um­ve­ri­fi­catie. Naarmate datacen­ters steeds hogere tempe­ra­turen in de white spaces bereiken, maakt dit ontwerp van de switchin­laat­buis hogere tempe­ra­tuur­in­stel­lingen mogelijk, wat resul­teert in lagere energiekosten.

De hogere warmte­dicht­heid in server­kasten en de toene­mende eisen aan energie-effici­ëntie in datacen­ters vereisen dat alle appara­tuur aan de speci­fi­ca­ties voldoet. Snellere appara­tuur die meer stroom verbruikt, genereert meer warmte, waardoor effec­tiever warmte­be­heer essen­tieel is. Een modulaire inlaat­goot voor de ToR-switch zorgt voor effec­tief thermisch beheer en draagt bij aan een goede werking van de apparatuur.

Terug naar de klant­lo­catie. Nadat de bevin­dingen waren uitge­legd en een oplos­sing was overeen­ge­komen, inclu­sief de passieve ToR-switch­goot, begreep de klant het proces en was tevreden over de snelheid waarmee de switch­goten in de 300 kasten waren geïmple­men­teerd. Omdat passieve goten geen stroom­aan­slui­ting nodig hebben en eenvoudig te instal­leren zijn, kan het proces worden uitge­voerd terwijl de actieve appara­tuur in bedrijf is, waardoor activi­teiten zonder onder­bre­kingen kunnen doorgaan.

Een ander nuttig voordeel van de juiste lucht­toe­voer­lei­ding voor de ToR-switch is dat deze de venti­la­tor­snel­heid van de switch tot wel 80% kan verlagen en de noodzaak om de algehele koeling in de kast te verhogen, overbodig maakt. De juiste lucht­toe­voer­lei­ding voor de ToR-switch vermin­dert ook het aantal automa­ti­sche meldingen dat door de switch wordt gegene­reerd en daarmee het aantal onder­houds­be­zoeken aan de betref­fende kast(en).

ToR-switches zijn ontworpen om te voldoen aan de netwerk­ve­r­eisten voor server­toe­gang in datacen­ters. Het modulaire kanaal biedt de oplos­sing voor zowel nieuwe als bestaande instal­la­ties en maakt toegang tot venti­lator- en voedings­mo­dules mogelijk zonder de bestaande appara­tuur en bekabe­ling in de kast te verstoren. Door actieve appara­tuur­kasten te voorzien van een passieve inlaat­goot met een ToR-switch, kunnen hogere tempe­ra­tuur­in­stel­lingen in het datacenter worden bereikt, wat resul­teert in een hogere energie-effici­ëntie en lagere bedrijfskosten.

Voor meer infor­matie over de ToR Switch Duct, klik hier. www​.panduit​.com

Door: Hans Obermil­la­cher, Business Devel­op­ment Panduit EMEA