<div dir="auto"><div>We mount home via NFS over IPoIB. Other than bumping the nfs, mountd daemons we left everything default. We left the IB in datagram mode and mtu at 2044. We alhave over 400 nodes and it works ok. </div><div dir="auto"><br></div><div dir="auto">Raj</div><div dir="auto"><br><br><div class="gmail_quote" dir="auto"><div dir="ltr" class="gmail_attr">On Fri, Jun 12, 2020, 5:37 PM John McCulloch <<a href="mailto:johnm@pcpcdirect.com">johnm@pcpcdirect.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">




<div dir="ltr" style="font-size:12pt;color:#000000;background-color:#ffffff;font-family:Calibri,Arial,Helvetica,sans-serif">
<p>Thanks for the quick response Alex... There's no problem yet... It's a new install with 100GbE Mellanox IB and currently at defaults except I bumped the number of NFS daemons to 128. Just researching ways to optimize performance for 36 nodes concurrently
 accessing the storage server. It is my understanding that setting MTU to 9000 is recommended but that seems to be applicable for 10GbE.<br>
</p>
<p><br>
</p>
<p>Regards,<br>
</p>
<div id="m_7448534092568819534Signature">
<div name="divtagdefaultwrapper">
John McCulloch | PCPC Direct, Ltd.<br>
</div>
</div>
<div style="color:rgb(33,33,33)">
<hr style="display:inline-block;width:98%">
<div id="m_7448534092568819534divRplyFwdMsg" dir="ltr"><font color="#000000" face="Calibri, sans-serif" style="font-size:11pt"><b>From:</b> Alex Chekholko <<a href="mailto:alex@calicolabs.com" target="_blank" rel="noreferrer">alex@calicolabs.com</a>><br>
<b>Sent:</b> Friday, June 12, 2020 3:53 PM<br>
<b>To:</b> John McCulloch<br>
<b>Cc:</b> <a href="mailto:beowulf@beowulf.org" target="_blank" rel="noreferrer">beowulf@beowulf.org</a><br>
<b>Subject:</b> Re: [Beowulf] NFS over IPoIB</font>
<div> </div>
</div>
<div>
<div dir="ltr">I think you should start with all defaults and then describe the problem you're having with those settings.  IIRC last time I ran NFS over IPoIB I didn't tune anything and it was fine.</div>
<br>
<div class="gmail_quote">
<div class="gmail_attr" dir="ltr">On Fri, Jun 12, 2020 at 12:10 PM John McCulloch <<a href="mailto:johnm@pcpcdirect.com" target="_blank" rel="noreferrer">johnm@pcpcdirect.com</a>> wrote:<br>
</div>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<div style="font-size:12pt;color:rgb(0,0,0);background-color:rgb(255,255,255);font-family:Calibri,Arial,Helvetica,sans-serif" dir="ltr">
<p>Can anyone comment on experience with compute nodes mounting NFS v4.1 shares over IPoIB… i.e., tuning parameters that are likely to be most effective... We looked at NFS over RDMA but doing that would require a kernel upgrade...<br>
</p>
<p><br>
</p>
<p><a href="https://www.admin-magazine.com/HPC/Articles/Useful-NFS-Options-for-Tuning-and-Management" target="_blank" rel="noreferrer">https://www.admin-magazine.com/HPC/Articles/Useful-NFS-Options-for-Tuning-and-Management</a></p>
<p><br>
</p>
<p>Cheers,<br>
</p>
<div id="m_7448534092568819534gmail-m_4609465441243221382Signature">
<div name="divtagdefaultwrapper">John McCulloch | PCPC Direct, Ltd.<br>
</div>
</div>
</div>
_______________________________________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank" rel="noreferrer">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="https://beowulf.org/cgi-bin/mailman/listinfo/beowulf" rel="noreferrer noreferrer" target="_blank">
https://beowulf.org/cgi-bin/mailman/listinfo/beowulf</a><br>
</blockquote>
</div>
</div>
</div>
</div>

_______________________________________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank" rel="noreferrer">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="https://beowulf.org/cgi-bin/mailman/listinfo/beowulf" rel="noreferrer noreferrer" target="_blank">https://beowulf.org/cgi-bin/mailman/listinfo/beowulf</a><br>
</blockquote></div></div></div>