<div dir="ltr">just need to workout how to build large fat-trees with ethernet.<div><br></div><div>With 100G we get by with mlag for the spines (upto 640 hosts on 10g).</div><div><br></div><div>with our 40G/10G network, we are using ospf/mpls/vpls to give a static fat-tree...  30k lines of config applied to ~20 switches.  Nasty.</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Jun 2, 2016 at 11:57 AM, Greg Lindahl <span dir="ltr"><<a href="mailto:lindahl@pbm.com" target="_blank">lindahl@pbm.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">On Thu, Jun 02, 2016 at 07:48:10AM +0800, Stu Midgley wrote:<br>
> That's it.  As I said, I haven't used it since the early 00's.<br>
><br>
> With 100Gb becoming common it might be time for these sort of MPI's to come<br>
> back.<br>
<br>
</span>You could do better than these old interfaces, too... modern ethernet<br>
chips have multiple send/receive queues, so you could hack up an<br>
interface which looks a lot more like InfiniPath's one-queue-per-core<br>
model -- the OpenIB code for InfiniPath also has code that maps M<br>
cores:N queues if M>N.<br>
<span class="HOEnZb"><font color="#888888"><br>
-- greg<br>
<br>
</font></span></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature" data-smartmail="gmail_signature">Dr Stuart Midgley<br><a href="mailto:sdm900@sdm900.com" target="_blank">sdm900@sdm900.com</a></div>
</div>