<div><div dir="auto">It’s really a matter of what technology you want. </div><div dir="auto"><br></div><div dir="auto">KNL we run at about 320W so 800/320*3=7.5TF</div><div dir="auto">V100 we run at about 300W so 800/300*6=16TF</div><div dir="auto"><br></div><div dir="auto">BUT our KNL’s sit turbo boosted nearly all the time so more like 3.5TF each. </div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><br></div></div><div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, 11 Mar 2020 at 7:04 pm, Scott Atchley <<a href="mailto:e.scott.atchley@gmail.com">e.scott.atchley@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;padding-left:1ex;border-left-color:rgb(204,204,204)"><div dir="ltr">Hi Stu,<div><br></div><div>The rolling weight is only an issue when moving equipment during installation/removal. It causes point loads and we typically lay steel plate down to spread the load over multiple tiles.</div><div><br></div><div>What is your performance density (FLOPS/ft^2) in Houston if you do not mind me asking?</div></div><div dir="ltr"><div><br></div><div>Scott</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Mar 10, 2020 at 8:30 PM Stu Midgley <<a href="mailto:sdm900@gmail.com" target="_blank">sdm900@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;padding-left:1ex;border-left-color:rgb(204,204,204)"><div dir="ltr">Immersion cooling makes a lot of sense :)<div><br></div><div>We run it on the 21st floor of a building in Kuala Lumpur, on the 1st floor in Perth and on a slab-on-ground in Houston.</div><div><br></div><div>The tanks+fluid are light.  When full of equipment, about 1.2 tonnes spread over about 2m2.</div><div><br></div><div>In Houston, we have the lowest rated raised floor - since the tanks spread the load across multiple tiles/floor stands, and there is no rolling weight (its spread evenly over 2m2)</div><div><br></div><div>So ~ 2200lbs/10sqft ie. about 220lbs/sqft .  We run a power density of 8.5kW/sqm (~800W/sqft) across our whole DC (which includes all the internal white space/CRAC space etc).</div><div><br></div><div>We cool the whole facility with evaporation (compressor cooling is only for comfort cooling).</div><div><br></div><div>We have hit a PUE of 1.045 in Houston...   and 1.035 in Perth :)</div><div><br></div><div>Come and have a look at our Houston DC :)</div><div><br></div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Mar 11, 2020 at 3:37 AM Scott Atchley <<a href="mailto:e.scott.atchley@gmail.com" target="_blank">e.scott.atchley@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;padding-left:1ex;border-left-color:rgb(204,204,204)"><div dir="ltr">Hi everyone,<div><br></div><div>I am wondering whether immersion cooling makes sense. We are most limited by datacenter floor space. We can manage to bring in more power (up to 40 MW for Frontier) and install more cooling towers (ditto), but we cannot simply add datacenter space. We have asked to build new building and the answer has been consistently "No."</div><div><br></div><div>Summit is mostly water cooled. Each node has cold plates on the CPUs and GPUs. Fans are needed to cool the memory and power supplies and is captured by rear-door heart exchangers. It occupies roughly 5,600 ft^2. With 200 PF of performance and 14 MW of power, that is 36 TF/ft^2 and 2.5 kW/ft^2.</div><div><br></div><div>I am wondering what the comparable performance and power is per square foot for the densest, deployed (not theoretical) immersion cooled systems. Any ideas?</div><div><br></div><div>To make the exercise even more fun, what is the weight per square foot for immersion systems? Our data centers have a limit of 250 or 500 pounds per square foot. I expect immersion systems to need higher loadings than that.</div><div><br></div><div>Thanks,</div><div><br></div><div>Scott</div></div>
_______________________________________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="https://beowulf.org/cgi-bin/mailman/listinfo/beowulf" rel="noreferrer" target="_blank">https://beowulf.org/cgi-bin/mailman/listinfo/beowulf</a><br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr"><div dir="ltr">Dr Stuart Midgley<br><a href="mailto:sdm900@gmail.com" target="_blank">sdm900@gmail.com</a></div></div>
</blockquote></div>
</blockquote></div></div>-- <br><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr">Dr Stuart Midgley<br><a href="mailto:sdm900@gmail.com" target="_blank">sdm900@gmail.com</a></div></div>