<div dir="ltr">Summit uses both cold plates and rear-door heat exchangers. Frontier will use Cray's Shasta cabinet which is all water cooled (no fans at all) and is very high density. I am thinking of the systems after Frontier. Can we continue to use cold plates or at some point does immersion become the only alternative? I am not familiar enough with today's immersion, but I am not sure that it is any more dense or efficient than Summit is. I look at pictures of cyber-currency facilities with immersion tanks that are 3-4 feet high and I see a lot of empty space above them which could be holding more compute.</div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Mar 10, 2020 at 7:01 PM Jörg Saßmannshausen <<a href="mailto:sassy-work@sassy.formativ.net">sassy-work@sassy.formativ.net</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex">Dear all,<br>
<br>
yes, there is a max load of the floor and you really should stick to that, <br>
even though that might open a hole, pardon, a door for a new data centre. :-)<br>
<br>
There are various way of getting more cooling done. You can use doors which <br>
are cooled, the already described plates on the CPU, you can basically use a <br>
large trough and put your nodes in there (the trough is filled with oil, heat <br>
it up enough and you can fry your chips (not)), you can do that smaller as <br>
Iceotop demonstrated:<br>
<a href="https://www.iceotope.com/" rel="noreferrer" target="_blank">https://www.iceotope.com/</a><br>
<br>
I guess there are a number of ways you can address the problem. Multi-core <br>
CPUs, like the new AMD ones, might also be a solution as you can get more <br>
cores per area. <br>
<br>
I hope that helps a bit.<br>
<br>
Jörg<br>
<br>
Am Dienstag, 10. März 2020, 20:26:18 GMT schrieb David Mathog:<br>
> On Tue, 10 Mar 2020 15:36:42 -0400 Scott Atchley wrote:<br>
> > To make the exercise even more fun, what is the weight per square foot<br>
> > for<br>
> > immersion systems? Our data centers have a limit of 250 or 500 pounds<br>
> > per<br>
> > square foot.<br>
> <br>
> I am not an architect but...<br>
> <br>
> Aren't there two load values for a floor?  The one I think you are<br>
> citing is the amount of weight which can safely be placed in a "small"<br>
> floor area without punching through or causing other localized damage,<br>
> the other is the total weight that can be placed on that floor without<br>
> the building collapsing.  If the whole data center is on the ground<br>
> floor sitting right on a concrete slab with no voids beneath it I would<br>
> expect the latter value to be huge and not a real concern, but it might<br>
> be less than (500 pounds per square foot) X (total area) on the 2nd or<br>
> higher floors.<br>
> <br>
> Regards,<br>
> <br>
> David Mathog<br>
> <a href="mailto:mathog@caltech.edu" target="_blank">mathog@caltech.edu</a><br>
> Manager, Sequence Analysis Facility, Biology Division, Caltech<br>
> _______________________________________________<br>
> Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
> To change your subscription (digest mode or unsubscribe) visit<br>
> <a href="https://beowulf.org/cgi-bin/mailman/listinfo/beowulf" rel="noreferrer" target="_blank">https://beowulf.org/cgi-bin/mailman/listinfo/beowulf</a><br>
<br>
<br>
<br>
_______________________________________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="https://beowulf.org/cgi-bin/mailman/listinfo/beowulf" rel="noreferrer" target="_blank">https://beowulf.org/cgi-bin/mailman/listinfo/beowulf</a><br>
</blockquote></div>