<div dir="ltr">On Mon, Dec 2, 2013 at 8:37 AM, atchley <a href="http://tds.net">tds.net</a> <span dir="ltr"><<a href="mailto:atchley@tds.net" target="_blank">atchley@tds.net</a>></span> wrote:<br><div class="gmail_extra">
<div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">I found this vague:<div><br></div><div>"<span style="color:rgb(97,97,97);font-family:Arial,Helvetica,Tahoma,san-serif;font-size:13.333333015441895px;line-height:19.16666603088379px">The adapters could even borrow ideas from the Aries interconnect to give it some extra goodies not found in standard Ethernet or InfiniBand controllers."</span></div>

<div><span style="color:rgb(97,97,97);font-family:Arial,Helvetica,Tahoma,san-serif;font-size:13.333333015441895px;line-height:19.16666603088379px"><br></span></div><div><span style="font-family:Arial,Helvetica,Tahoma,san-serif;font-size:13.333333015441895px;line-height:19.16666603088379px"><font color="#000000">I am not sure what Aries currently offers that IB does not.</font></span></div>

<div><span style="font-family:Arial,Helvetica,Tahoma,san-serif;font-size:13.333333015441895px;line-height:19.16666603088379px"><font color="#000000"><br></font></span></div><div><span style="font-family:Arial,Helvetica,Tahoma,san-serif;font-size:13.333333015441895px;line-height:19.16666603088379px"><font color="#000000">The issues with Ethernet in HPC are:</font></span></div>

<div><span style="font-family:Arial,Helvetica,Tahoma,san-serif;font-size:13.333333015441895px;line-height:19.16666603088379px"><font color="#000000"><br></font></span></div><div><span style="font-family:Arial,Helvetica,Tahoma,san-serif;font-size:13.333333015441895px;line-height:19.16666603088379px"><font color="#000000">1. lack of standard kernel-bypass interface</font></span></div>

<div><span style="font-family:Arial,Helvetica,Tahoma,san-serif;font-size:13.333333015441895px;line-height:19.16666603088379px"><font color="#000000">2. minimum packet size is too large</font></span></div><div><span style="font-family:Arial,Helvetica,Tahoma,san-serif;font-size:13.333333015441895px;line-height:19.16666603088379px"><font color="#000000">3. topology discovery protocols</font></span></div>

<div><span style="font-family:Arial,Helvetica,Tahoma,san-serif;font-size:13.333333015441895px;line-height:19.16666603088379px"><font color="#000000">4. lack of multi-pathing</font></span></div><div><span style="font-family:Arial,Helvetica,Tahoma,san-serif;font-size:13.333333015441895px;line-height:19.16666603088379px"><font color="#000000"><br>

</font></span></div><div><span style="font-family:Arial,Helvetica,Tahoma,san-serif;font-size:13.333333015441895px;line-height:19.16666603088379px"><font color="#000000">Ethernet got a bad rap for HPC due to TCP/IP/Ethernet and the lack of low latency switches. As Myricom showed with MX over Ethernet followed by Mellanox with RoCE, you can get low latency over Ethernet bypassing the kernel and the TCP stack. Low latency switches from Arista, Gnodal, etc. help as well.</font></span></div>

<div><span style="font-family:Arial,Helvetica,Tahoma,san-serif;font-size:13.333333015441895px;line-height:19.16666603088379px"><font color="#000000"><br></font></span></div><div><span style="font-family:Arial,Helvetica,Tahoma,san-serif;font-size:13.333333015441895px;line-height:19.16666603088379px"><font color="#000000">HPC sends a lot of small messages and various stacks are making use of 8-byte atomics. It is unhelpful to have a 64 byte minimum frame size in this case.</font></span></div>

<div><span style="font-family:Arial,Helvetica,Tahoma,san-serif;font-size:13.333333015441895px;line-height:19.16666603088379px"><font color="#000000"><br></font></span></div><div><span style="font-family:Arial,Helvetica,Tahoma,san-serif;font-size:13.333333015441895px;line-height:19.16666603088379px"><font color="#000000">Ethernet topology discovery protocols were designed for environments where equipment can be changed out, expanded, or otherwise altered. They are meant to be decentralized and plug-and-play. HPC environment, especially supercomputers, are static environments that can benefit from centralized management.</font></span></div>

<div><span style="font-family:Arial,Helvetica,Tahoma,san-serif;font-size:13.333333015441895px;line-height:19.16666603088379px"><font color="#000000"><br></font></span></div><div><span style="font-family:Arial,Helvetica,Tahoma,san-serif;font-size:13.333333015441895px;line-height:19.16666603088379px"><font color="#000000">Ethernet re</font></span></div>
</div></blockquote><div><br></div><div><fat fingered send></div><div><br></div><div>Ethernet requires a single-path between any two endpoints. Future HPC networks will not be "non-blocking" (i.e. not full Clos or fat-tree) due to cost. They will be oversubscribed and they will have bottlenecks. Some papers about alternate topologies such as dragonfly describe the necessity to have alternate, albeit non-shortest path, routes to avoid congested paths.</div>
<div><br></div><div>There may be other issues, but they will need to be addresses.</div><div><br></div><div>Scott</div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
<div class="gmail_extra"><br><div class="gmail_quote"><div><div class="h5">On Mon, Dec 2, 2013 at 5:05 AM, John Hearns <span dir="ltr"><<a href="mailto:hearnsj@googlemail.com" target="_blank">hearnsj@googlemail.com</a>></span> wrote:<br>

</div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div class="h5"><div><a href="http://www.enterprisetech.com/2013/11/25/intel-pull-networking-xeon-xeon-phi-chips/" target="_blank">http://www.enterprisetech.com/2013/11/25/intel-pull-networking-xeon-xeon-phi-chips/</a></div>


<div> </div>
<div>I guess most of you are familiar with these roadmaps.</div>
<div>A very good article anyway, specially the second half.</div>
<div>Exciting stuff about integrated networking right onto those Xen Phi's - maybe we will have a return to 'proper' big iron</div>
<div>supercomputers - albiet with a commodity x86 heart!</div>
<div> </div>
<div> </div>
<div> </div>
<div>The Caldexa stuff looks interesting too. Can you REALLY just plug 100 000 nodes in and their built in switches will</div>
<div>sort everything out? Wow.</div>
<br></div></div>_______________________________________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf" target="_blank">http://www.beowulf.org/mailman/listinfo/beowulf</a><br>
<br></blockquote></div><br></div>
</blockquote></div><br></div></div>