<div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr">Michael, the Mellanox gateway devices do exactly what you want.<div>What I implemented was a connection between an Infiniband HPC cluster and a Data Lake system connected solely by Ethernet.</div><div><br></div><div>High level overview <a href="https://community.mellanox.com/docs/DOC-2301">https://community.mellanox.com/docs/DOC-2301</a></div><div><a href="http://www.mellanox.com/related-docs/prod_gateway_systems/PB_SX6036G.pdf">http://www.mellanox.com/related-docs/prod_gateway_systems/PB_SX6036G.pdf</a><br></div><div><br></div><div>Look at this more up to date implementation though <a href="http://www.mellanox.com/page/ib_fabricit_bxm_management">http://www.mellanox.com/page/ib_fabricit_bxm_management</a></div><div><br></div><div>Drop me a mail off list if necessary.</div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div></div></div></div></div><br><div class="gmail_quote"><div dir="ltr">On Tue, 11 Dec 2018 at 23:40, John Hearns <<a href="mailto:hearnsj@googlemail.com">hearnsj@googlemail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Michael, yes.  Panasas engineered IPOIB to Ethernet routers for their storage platform. Remember that until the latest generation of their kit they ran on BSD, which had no Infiniband capability. Panasas IB routers booted from an onboard SATA DOM, which was quite a neat solution.<div>I know this as I had to revive one from the dead after the technical staff at a company I worked with deleted the partition table during a test cycle</div><div>(long war story there).</div><div><br></div><div><br></div><div>More relevantly, when working at ASML I configured the Mellanox gateway devices which connect between IB networks and Ethernet networks.</div><div>Technically these are bridges which implement the proxy arp function. I installed four of these devices, and got to know them pretty well.</div><div>I think they do the job which you need.</div><div><br></div><div><br></div><div><br></div><div><br><div><br></div><div><br></div><div><br></div></div></div><br><div class="gmail_quote"><div dir="ltr">On Tue, 11 Dec 2018 at 17:03, Michael Di Domenico <<a href="mailto:mdidomenico4@gmail.com" target="_blank">mdidomenico4@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">does anyone use linux based routers to get from an ipoib network out<br>
onto a regular ethernet network?  if so, do you have multiple routers<br>
or just one?  in the case of multiple routers how to you handle the<br>
traffic coming back from the ethernet network?  (ie how does the<br>
ethernet network know which router to send the data back through)<br>
<br>
---<br>
<br>
to expand further on what i'm trying to do (sanity/success is still to<br>
be determine)...<br>
<br>
imagine a big cluster of machines all connected via infiniband running ipoib<br>
there are 4 linux routers on the ipoib network that also have 10Gb<br>
connections to an ethernet network<br>
the ethernet network contains a router to other resources<br>
<br>
what i want to accomplish is to have the compute nodes spray their<br>
traffic across the 4 linux routers and end up on the ethernet network<br>
i'm sure someone's done something like this before, but my google foo<br>
is failing me<br>
_______________________________________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf" rel="noreferrer" target="_blank">http://www.beowulf.org/mailman/listinfo/beowulf</a><br>
</blockquote></div>
</blockquote></div>