De meeste AI-inkooptrajecten waar wij bij worden gehaald beginnen bij een chip en rekenen terug. De klant heeft H100’s of B200’s gekozen, heeft een softwarestack die een bepaalde interconnect eist, en vraagt zich pas daarna af waar het ding moet staan. Tegen de tijd dat wij aan tafel zitten is het pand de bepalende beperking en moet de werklast zich plooien.
Wij bepleiten het omgekeerde: kies het pand dat het vermogen, de koeling en het netwerk geloofwaardig kan leveren, en pas de chipkeuze daarna in op wat verkrijgbaar is. Onromantisch. Ook de manier waarop AI-opstellingen op schema blijven.
Vermogen: de echte getallen
Een gangbaar AI-trainingsrack draait vandaag tussen 30 en 80 kW. De koppen uit de productbladen zijn makkelijk; de werkelijkheid op rackniveau is dat niet.
Een redelijk uitgangspunt voor een node met acht H100 SXM5-GPU’s:
- Thermisch ontwerpvermogen van de GPU: 700 W per H100 SXM5 — 5,6 kW voor acht GPU’s op piek.
- Host-CPU’s: samen ongeveer 500 W voor een node met twee sockets.
- Geheugen en NVMe: samen ongeveer 400 W.
- Netwerkkaart en switchfabric: ongeveer 200 W per node, meer bij InfiniBand-zware fabrics.
- Koelingsoverhead: 15 tot 25% van de IT-belasting, afhankelijk van de PUE van het pand en het ontwerp op rackniveau.
Per node komt dat op 8 tot 12 kW. Per rack met vier tot acht nodes: 30 tot ruim 80 kW. Versnellers van de nieuwe generatie (B200, GB200 NVL72) duwen dat verder op — boven 120 kW in de dichtste configuraties.
De meeste Europese colocatiepanden zijn nog ontworpen rond 5 tot 15 kW per rack. De groep panden die 30 kW of meer per rack kan leveren op de plekken waar onze inkopers willen zitten, is aanzienlijk kleiner. De groep die 60 kW of meer aankan mét een geloofwaardig koelverhaal is nog kleiner. Wij houden bij welke dat zijn.
Koeling: lucht, direct-to-chip, immersie
Luchtkoeling houdt ergens tussen 25 en 35 kW per rack op geloofwaardig te zijn, afhankelijk van de afscheiding van de warme gang en het ontwerp van de CRAH-units. Daarboven heeft u vloeistof nodig.
Twee technieken die in productie werken:
Direct-to-chip (D2C). Koelplaten op de warmteproducerende onderdelen, een vloeistofcircuit naar een verdeelunit in de achterdeur of op rijniveau. Toepasbaar bij verbouwing, mits het pand meewerkt. Vandaag de meest pragmatische route naar 60 kW en meer. Wij zien dit in nieuwere hallen naast de hyperscalers en in geselecteerde zakelijke panden vanaf Tier III.
Immersiekoeling. Hele servers ondergedompeld in een niet-geleidende vloeistof, in één of twee fasen. Hogere haalbare dichtheid, mechanisch eenvoudiger per kW, maar de inpassing in het pand is ingewikkelder: niet te combineren met een verhoogde vloer, gewicht, vloeistofbehandeling. Productierijp voor nieuwbouw; lastiger bij verbouwing.
De vraag aan inkoperszijde: wat kan het pand dat u beoordeelt vandaag werkelijk leveren, in het aantal racks en met het groeipad dat u nodig heeft? Een openbare roadmap is geen inkoopbewijs.
Netwerk: het deel dat bepaalt of uw trainingsrun afloopt
Bij AI-training over meerdere nodes zit het clusternetwerk in het kritieke pad. Drie lagen tellen:
- Oost-westfabric tussen de GPU’s. InfiniBand NDR (400 Gb/s) is nu de standaard voor schaal; 800 Gb/s wordt geleverd. RoCE over ethernet werkt voor een deel van de werklasten, maar vraagt zorgvuldige afstemming. Latency en verliesvrij gedrag tellen zwaarder dan de bandbreedte in de kop — gaat dat mis, dan halveert uw effectieve rekenkracht.
- Opslagfabric tussen rekennodes en parallelle bestandssystemen. Vaak gescheiden van de GPU-fabric. NVMe-over-Fabrics of een parallel bestandssysteem op eigen verbindingen van 200 of 400 Gb/s is gangbaar.
- Extern en inferentie richting peering en cloud-onramps. AMS-IX, DE-CIX, AWS Direct Connect, Azure ExpressRoute, GCP Interconnect. Cruciaal bij het uitrollen van inferentie, minder tijdens het trainen zelf.
De netwerkeis wordt net zo goed een filter op panden als de vermogenseis. Niet elk pand biedt monomode-glasvezelroutes die 400 Gb/s ondersteunen in het aantal kasten dat u nodig heeft. Wij bevestigen dat vóór we een inkoper introduceren.
Opslag: meestal te krap begroot
Opslag is het onderdeel van een AI-opstelling dat wordt weggesneden om binnen budget te blijven en drie maanden later de bottleneck is. Een redelijke vuistregel voor een serieus trainingscluster:
- Hete laag op lokale NVMe of NVMe-over-Fabric, gedimensioneerd op de actieve dataset. Het heen-en-weerpatroon van checkpoints bij een model met 70 miljard parameters vraagt hier tientallen GB/s aanhoudend, niet een IOPS-getal.
- Warme laag op een parallel bestandssysteem met slimme caching. WekaIO, VAST, DAOS, GPFS — kies op basis van wat operationeel past, niet op benchmarkposters.
- Koude laag voor datasets en momentopnames. Objectopslag tegen lagere kosten per TB.
Cachecoherentie en het opschalen van metadataservers zijn de twee faalwijzen die wij het vaakst zien. Beide vragen dat het netwerkontwerp van het pand de opslagarchitectuur ondersteunt, wat weer terugkomt op het vorige punt.
Hoe wij filteren
Komt een inkoper met een AI-uitvraag — via het aanvraagformulier of rechtstreeks — dan filteren wij panden in deze volgorde: eerst vermogensdichtheid, dan koelvermogen, dan netwerkarchitectuur, en pas daarna locatie en prijs. Panden die de eerste drie niet halen vallen af vóórdat we naar de prijs kijken. De shortlist is meestal korter dan de inkoper verwacht. Dát is het eigenlijke signaal.