Tom,<br><br>Thanks for your reply. As I explained in my original email 48-port IB switch would be ideal because the jobs on these 36 nodes will mostly be run locally within the 36-node complex. However, 48-port IB switch is too expensive, that is why I am considering alternative cost-effective solutions. I think we major pattern of the load will be a bunch of 32-64 cpu jobs at maximum, i.e each of them can fit into 4-8 nodes. These jobs are MPI the applications, therefore, they require the best bandwidth-latency env\ironment.<br>
<br>Ivan<br><br><br><div class="gmail_quote">On Tue, Feb 10, 2009 at 3:55 PM, Nifty Tom Mitchell <span dir="ltr"><<a href="mailto:niftyompi@niftyegg.com">niftyompi@niftyegg.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
<br>
With 36 hosts the best connectivity between the 36 hosts will be with a<br>
single 48 port switch and use many of the extra ports to link to the existing<br>
fabric.<br>
<br>
It is not insane to cost out and plan a fabric design with two, three or more<br>
24 port switches including cables.   Three times 24  (or more) switch<br>
designs can make it clear what value a big switch brings to your game.<br>
<br>
What we do not know is the job mix and the demands that mix will place<br>
on the fabric.  If the job mix is 99% 32 host jobs that are bandwidth<br>
and latency limited then the big switch may quickly show it's value.<br>
If the mix is lots of 23 or less host jobs then 24 port switch solutions<br>
will behave nearly ideal.<br>
<br>
Having looked at a lot of university clusters lots of 23 or less host<br>
jobs seems like a common work load.  Thus a pair of 24 port switches<br>
will be fine with the right job scheduling.<br>
<br>
My gut is that two 24 port switches that: share five links, have<br>
18 hosts per switch and with the last two links connected to your<br>
existing fabric will operate quite well.<br>
<br>
One important IB cluster design point is the cable link lengths at fast data<br>
rates.  Smaller switches can be located to reduce host to switch and switch<br>
to switch link lengths.    Also for fast link speeds watch: bend radius, cable quality<br>
and other cable management issues, they matter.<br>
<div class="Ih2E3d"><br>
<br>
<br>
On Tue, Feb 10, 2009 at 12:01:26AM -0500, Ivan Oleynik wrote:<br>
><br>
>    It would be nice to have non-blocking communication within the entire<br>
>    system but the critical part is the 36-node complex to be connected to<br>
>    the main cluster.<br>
><br>
</div>>    On Mon, Feb 9, 2009 at 1:33 AM, Gilad Shainer <[1]<a href="mailto:Shainer@mellanox.com">Shainer@mellanox.com</a>><br>
<div class="Ih2E3d">>    wrote:<br>
><br>
>    Do you plan to have full not blocking communications between the next<br>
>    systems and the core switch?<br>
>      __________________________________________________________________<br>
><br>
</div>>    From: [2]<a href="mailto:beowulf-bounces@beowulf.org">beowulf-bounces@beowulf.org</a><br>
>    [mailto:[3]<a href="mailto:beowulf-bounces@beowulf.org">beowulf-bounces@beowulf.org</a>] On Behalf Of Ivan Oleynik<br>
<div class="Ih2E3d">>    Sent: Sunday, February 08, 2009 8:20 PM<br>
</div>>    To: [4]<a href="mailto:beowulf@beowulf.org">beowulf@beowulf.org</a><br>
<div><div></div><div class="Wj3C7c">>    Subject: [Beowulf] Connecting two 24-port IB edge switches to core<br>
>    switch:extra switch hop overhead<br>
>    I am purchasing 36-node cluster that will be integrated to already<br>
>    existing system. I am exploring the possibility to use two 24 4X port<br>
>    IB edge switches in core/leaf design that have maximum capability of<br>
>    960Gb (DDR)/480Gb (SDR). They would be connected to the main Qlogic<br>
>    Silverstorm switch.<br>
>    I would appreciate receiving some info regarding the communication<br>
>    overhead incurred by this setup. I am trying to minimize the cost of IB<br>
>    communication hardware. It looks like buying single 48-port switch is<br>
>    really an expensive option.<br>
>    Thanks,<br>
>    Ivan<br>
><br>
<br>
<br>
</div></div><font color="#888888">--<br>
        T o m  M i t c h e l l<br>
        Found me a new hat, now what?<br>
<br>
</font></blockquote></div><br>