Hi Gus,<br>your nice reply; as usual.<br><br>I ran my code on single socket xeon node having two cores; It ran linear 97+% efficient.<br><br>Then I ran my code on single socket xeon node having four cores ( Xeon 3220 -which really not a good quad core) I got the efficiency of around 85%.<br>
<br>But on four single socket nodes I ran 4 processes  (1 process on each node); I  got the efficiency of around 62%.<br><br>Yes, CFD codes are memory bandwidth bound usually.<br><br>Thank you very much.<br><br><br>
<br><br><br><br><br>run with 2core<br><div class="gmail_quote">On Wed, Dec 9, 2009 at 9:11 PM, Gus Correa <span dir="ltr"><<a href="mailto:gus@ldeo.columbia.edu">gus@ldeo.columbia.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
Hi Amjad<br>
<br>
There is relatively inexpensive Infiniband SDR:<br>
<a href="http://www.colfaxdirect.com/store/pc/showsearchresults.asp?customfield=5&SearchValues=65" target="_blank">http://www.colfaxdirect.com/store/pc/showsearchresults.asp?customfield=5&SearchValues=65</a><br>
<a href="http://www.colfaxdirect.com/store/pc/viewPrd.asp?idproduct=12" target="_blank">http://www.colfaxdirect.com/store/pc/viewPrd.asp?idproduct=12</a><br>
<a href="http://www.colfaxdirect.com/store/pc/viewCategories.asp?SFID=12&SFNAME=Brand&SFVID=50&SFVALUE=Mellanox&SFCount=0&page=0&pageStyle=m&idcategory=2&VS12=0&VS9=0&VS10=0&VS4=0&VS3=0&VS11=0" target="_blank">http://www.colfaxdirect.com/store/pc/viewCategories.asp?SFID=12&SFNAME=Brand&SFVID=50&SFVALUE=Mellanox&SFCount=0&page=0&pageStyle=m&idcategory=2&VS12=0&VS9=0&VS10=0&VS4=0&VS3=0&VS11=0</a><br>

Not the latest greatest, but faster than Gigabit Ethernet.<br>
A better Gigabit Ethernet switch may help also,<br>
but I wonder if the impact will be as big as expected.<br>
<br>
However, are you sure the scalability problems you see are<br>
due to poor network connection?<br>
Could it be perhaps related to the code itself,<br>
or maybe to the processors' memory bandwidth?<br>
<br>
You could test if it is network running the program inside a node<br>
(say on 4 cores) and across 4 nodes with<br>
one core in use on each node, or other combinations<br>
(2 cores on 2 nodes).<br>
<br>
You could have an indication of the processors' scalability<br>
by timing program runs inside a single node using 1,2,3,4 cores.<br>
<br>
My experience with dual socket dual core Xeons vs.<br>
dual socket dual core Opterons,<br>
with the type of code we run here (ocean,atmosphere,climate models,<br>
which are not totally far from your CFD) is that Opterons<br>
scale close to linear, but Xeons get nearly stuck in terms of scaling<br>
when there are more than 2 processes (3 or 4) running in a single node.<br>
<br>
My two cents.<br>
Gus Correa<br>
---------------------------------------------------------------------<br>
Gustavo Correa<br>
Lamont-Doherty Earth Observatory - Columbia University<br>
Palisades, NY, 10964-8000 - USA<br>
---------------------------------------------------------------------<br>
<br>
<br>
amjad ali wrote:<br>
<blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;"><div><div></div><div class="h5">
Hi all,<br>
<br>
I have, with my group, a small cluster of about 16 nodes (each one with single socket Xeon 3085 or 3110; And I face problem of poor scalability. Its network is quite ordinary GiGE (perhaps DLink DGS-1024D 24-Port 10/100/1000), store and forward switch, of price about $250 only.<br>

<a href="ftp://ftp10.dlink.com/pdfs/products/DGS-1024D/DGS-1024D_ds.pdf" target="_blank">ftp://ftp10.dlink.com/pdfs/products/DGS-1024D/DGS-1024D_ds.pdf</a><br>
<br>
How should I work on that for better scalability?<br>
<br>
What could be better affordable options of fast switches? (Myrinet, Infiniband are quite costly).<br>
<br>
When buying a switch what should we see in it? What latency?<br>
<br>
<br>
Thank you very much.<br>
<br>
<br></div></div>
------------------------------------------------------------------------<br>
<br>
_______________________________________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf" target="_blank">http://www.beowulf.org/mailman/listinfo/beowulf</a><br>
</blockquote>
<br>
_______________________________________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf" target="_blank">http://www.beowulf.org/mailman/listinfo/beowulf</a><br>
</blockquote></div><br>