<br><br><div class="gmail_quote">2009/9/9 psc <span dir="ltr"><<a href="mailto:pscadmin@avalon.umaryland.edu">pscadmin@avalon.umaryland.edu</a>></span><br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
I wonder what would be the sensible biggest cluster possible based on<br>
1GB Ethernet network . And especially how would you connect those 1GB<br>
switches together -- now we have (on one of our four clusters) Two 48<br>
ports gigabit switches connected together with 6 patch cables and I just<br>
ran out of ports for expansion and wonder where to go from here as we<br>
already have four clusters and it would be great to stop adding cluster<br>
and start expending them beyond number of outlets on the switch/s ....<br>
NFS and 1GB Ethernet works great for us and we want to stick with it ,<br>
but we would love to find a way how to overcome the current "switch<br>
limitation".   ... I heard that there are some "stackable switches" ..<br>
in any case -- any idea , suggestion will be appreciated.<br>
<br></blockquote><div><br>Stackable switches are small switches 16 to 48 ports that have proprietary high bandwidth uplinks to connect switches of the same type.<br>Typically these connections are pairs of 10Gbps (as they are full-duplex, sometimes vendors say that they are 20Gbps) cables that  connect all switches in ring configuration.<br>
This solution is cheaper than a modular switch, but has limited bandwidth.<br> </div><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
thanks!!<br>
psc<br>
<br>
> From: Rahul Nabar <<a href="mailto:rpnabar@gmail.com">rpnabar@gmail.com</a>><br>
> Subject: [Beowulf] how large of an installation have people used NFS<br>
>       with?   would 300 mounts kill performance?<br>
> To: Beowulf Mailing List <<a href="mailto:beowulf@beowulf.org">beowulf@beowulf.org</a>><br>
> Message-ID:<br>
>       <<a href="mailto:c4d69730909091040p3774581dmd50b460dc99e0a60@mail.gmail.com">c4d69730909091040p3774581dmd50b460dc99e0a60@mail.gmail.com</a>><br>
> Content-Type: text/plain; charset=ISO-8859-1<br>
><br>
> Our new cluster aims to have around 300 compute nodes. I was wondering<br>
> what is the largest setup people have tested NFS with? Any tips or<br>
> comments? There seems no way for me to say if it will scale well or<br>
> not.<br>
><br>
> I have been warned of performance hits but how bad will they be?<br>
> Infiniband is touted as a solution but the economics don't work out.<br>
> My question is this:<br>
><br>
> Assume each of my compute nodes have gigabit ethernet AND I specify<br>
> the switch such that it can handle full line capacity on all ports.<br>
> Will there still be performance hits as I start adding compute nodes?<br>
> Why? Or is it unrealistic to configure a switching setup with full<br>
> line capacities on 300 ports?<br>
><br>
> If not NFS then Lustre etc options do exist. But the more I read about<br>
> those the more I am convinced that those open another big can of<br>
> worms. Besides, if NFS would work I do not want to switch.<br>
><br>
><br>
<br>
_______________________________________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf" target="_blank">http://www.beowulf.org/mailman/listinfo/beowulf</a><br>
</blockquote></div><br>