<div dir="ltr"><div><div>Dell has been doing some really good things around NFS and IB using IPoIB. Their NSS storage solution is an example. They've gotten some pretty good sequential performance: 2.25 GB/s for writes and 5.48 GB/s for reads. Pretty good performance from a simple NFS server using IPoIB I think.<br><br>They publish the settings they use and also the tests they run. For more information just Google for Dell NFS, NSS. There should be pdf's that are downloadable.<br><br></div>The last results I can find are for NSS v5.5 which uses RHEL 6.4. No newer kernels I'm afraid.<br><br></div><div>Enjoy!<br><br></div><div>Jeff<br></div><br></div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Feb 20, 2015 at 7:15 PM, Bill Broadley <span dir="ltr"><<a href="mailto:bill@cse.ucdavis.edu" target="_blank">bill@cse.ucdavis.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">I read through the beowulf archives for mentions of NFS + IB.  I found nothing<br>
newer than 2012.<br>
<br>
What are peoples current experience with NFS + IB?  I'm looking at the options<br>
for smaller clusters with /home on NFS.  I'll leave distributed filesystems for<br>
a separate discussion.<br>
<br>
The two leading options seem to be IPoIB and RDMA.  Any comments on stability<br>
and performance assuming a fairly recent kernel like 3.13 or newer?<br>
<br>
I'd be especially interested in any particular settings like rsize, wsize, mtu<br>
(2044 for datagram mode), connected mode vs datagram mode, and similar tuning<br>
parameters.  If you tuned for random I/O or bandwidth please mention it.<br>
<br>
I talked to one vendor that claims FDR has a larger than expected performance<br>
advantage over QDR for NFS.  Can anyone verify or guess as to exactly why?<br>
<br>
Not sure if the IPoIB tuning is relevant for NFS + RDMA.<br>
<br>
I've read these links, if there are other useful links please let me know:<br>
   <a href="https://www.kernel.org/doc/Documentation/filesystems/nfs/nfs-rdma.txt" target="_blank">https://www.kernel.org/doc/Documentation/filesystems/nfs/nfs-rdma.txt</a><br>
   <a href="https://www.kernel.org/doc/Documentation/infiniband/ipoib.txt" target="_blank">https://www.kernel.org/doc/Documentation/infiniband/ipoib.txt</a><br>
<br>
<a href="http://www.mellanox.com/related-docs/prod_software/Performance_Tuning_Guide_for_Mellanox_Network_Adapters.pdf" target="_blank">http://www.mellanox.com/related-docs/prod_software/Performance_Tuning_Guide_for_Mellanox_Network_Adapters.pdf</a><br>
<br>
I'm happy to summarise the results if people prefer sending info directly to me.<br>
<br>
<br>
<br>
<br>
<br>
_______________________________________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf" target="_blank">http://www.beowulf.org/mailman/listinfo/beowulf</a><br>
</blockquote></div><br></div>