My two cents:<br><br><div class="gmail_quote">2009/9/9 Rahul Nabar <span dir="ltr"><<a href="mailto:rpnabar@gmail.com">rpnabar@gmail.com</a>></span><br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
Our new cluster aims to have around 300 compute nodes. I was wondering<br>
what is the largest setup people have tested NFS with? Any tips or<br>
comments? There seems no way for me to say if it will scale well or<br>
not.<br></blockquote><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;"><br>
I have been warned of performance hits but how bad will they be?<br>
Infiniband is touted as a solution but the economics don't work out.<br>
My question is this:<br>
<br>
Assume each of my compute nodes have gigabit ethernet AND I specify<br>
the switch such that it can handle full line capacity on all ports.<br></blockquote><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
Will there still be performance hits as I start adding compute nodes? <br></blockquote><div><br>Yes.<br> </div><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">

Why? </blockquote><div><br>Because final NFS server bandwidth will be the bandwidth of the most limited device, be it disk, network interface or switch.<br>Even if you have a switch capable of fill line capacity for all 300 nodes, you must put a insanely fast interface in your NFS server and a giant pool of disks to have a decent bandwidth if all nodes access NFS at the same time.<br>
<br>But depending on the way people run applications in your cluster, only a small set of nodes will access NFS at the same time and a Ethernet 10Gb with tens of disks will be enough.<br><br> </div><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
Or is it unrealistic to configure a switching setup with full<br>
line capacities on 300 ports?<br></blockquote><div> <br>This will be good for MPI but it will not help much your NFS server problem.<br> <br></div><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">

If not NFS then Lustre etc options do exist. But the more I read about<br>
those the more I am convinced that those open another big can of<br>
worms. Besides, if NFS would work I do not want to switch.<br>
<font color="#888888"><br>
--<br>
Rahul<br>
_______________________________________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf" target="_blank">http://www.beowulf.org/mailman/listinfo/beowulf</a><br>
</font></blockquote></div><br>