<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On 22 February 2015 at 19:09, Jeffrey Layton <span dir="ltr"><<a href="mailto:laytonjb@gmail.com" target="_blank">laytonjb@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div><div>Dell has been doing some really good things around NFS and IB using IPoIB.</div></div></div></blockquote><div><br></div><div>IPoIB is just vanilla NFS and will work as normal but with lots of lovely bandwidth. You still get the TCP overhead so latency and therefore random IO performance is the same as ethernet.</div><div><br></div><div>NFSoRDMA is seriously sexy stuff and blazes small I/O. The testing I did was on Centos 6.5 a year or so back and found it to be quite unstable. Lots of exciting kernel panics and silent data corruption problems. </div><div><br></div><div>I think a lot of these problems have been rectified now but its still not really "mainstream" so handle with care. An interesting way to test it is by exporting a tmpfs although this may give you some weird artefacts here and there as its quite an edge usecase for tmpfs.</div><div><br></div></div></div></div>