<div dir="ltr"><div class="gmail_extra">On Thu, May 16, 2013 at 11:45 AM, Mark Hahn <span dir="ltr"><<a href="mailto:hahn@mcmaster.ca" target="_blank">hahn@mcmaster.ca</a>></span> wrote:<br><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div class="im"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
I found it unilluminating, actually.  don't we all know about power issues?<br>
</blockquote>
<br>
Know? Yes. To this extent? Maybe not.<br>
</blockquote>
<br></div>
OK, I can see that.  to me, power is similar to a number of other issues, which provide extreme limits to scaling.  (power, reliability, net,<br>
perhaps even storage and software complexity).  from a CS background,<br>
these all have distressing O()-type complexity, so each is clearly<br>
a hard limit at some scale, given some level of technology.<br>
<br>
maybe I'm just more pessimistic ;)<br>
<br>
I guess I did think the flops power versus even on-chip communication thing<br>
was interesting.  but isn't the lesson to optimize for dataflow *and*<br>
sometimes perform redundant computations?<div class="im"><br>
<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

forward and with a 20 Mw power budget, an exascale machine's network<br>
</blockquote>
would<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
consume all the power leaving nothing for computation.<br>
</blockquote>
<br>
well, that sounds absurd - were they assuming a full-bisection fat tree of<br>
older (hotter, lower fanout) generation interconnect?<br>
</blockquote>
<br>
Even dragonfly topologies (high-radix routers with low hop count) and a<br>
bandwidth taper of 1/2 given current power consumption levels will exceed<br>
20 Mw.<br>
</blockquote>
<br></div>
anyone have an url on this topic?  fundamentally, I've always reasoned that since we exist in 3d, our networks need to be a 3d lattice at scale.<br>
fighting power (flops, comm) seems like a noble, *engineering* fight,<br>
but fighting our existence's dimensionality is silly...<br></blockquote><div><br></div><div style>We already exist in 3d - racks. We limit rack heights due to weight already (another item to add to your list of limits above). </div>
<div style><br></div><div style>I understand that you are arguing for 3d is silicon (or other substrate), but there will still be a practical limit.</div><div style><br></div><div style>I saw some presentation a year or two ago that showed an exascale system as a sphere with the switch complex in the center. It looked very 60s-ish, proto-EPCOTish...</div>
<div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">yes, I would like to demo your new blackhole-based interconnect! ;)<br></blockquote><div><br></div><div style>
Shouldn't it be wormhole-based? The blackhole-based one will just destroy the data, no?</div></div></div></div>