<table cellspacing="0" cellpadding="0" border="0" ><tr><td valign="top" style="font: inherit;">To further complicate issue, if latency is the key driving factor for older hardware, I think that the chips with the Infinipath/Pathscale lineage tend to have lower latencies than the Mellanox Inifinihost line.  <div><br></div><div>When in the DDR time frame, I measured Infinipath ping-pong latencies 3-4x better than that of DDR Mellanox silicon.  Of course, the Infinipath silicon will require different kernel drivers than those from Mellanox (ipath versus mthca).  These were QLogic specific HCA's and not the rebranded Silverstorm HCA's sold by QLogic.  (Confused yet?)  I believe that the model number was QLogic 7240 for the DDR version and QLogic 7140 for the SDR one.</div><div><br></div><div>Joseph</div><div><br></div><div><br><br><blockquote style="border-left: 2px solid rgb(16, 16, 255); margin-left: 5px; padding-left: 5px;"><div
 class="plainMail">Message: 2<br>Date: Mon, 07 Nov 2011 14:21:51 -0600<br>From: Greg Keller <<a ymailto="mailto:Greg@Keller.net" href="/mc/compose?to=Greg@Keller.net">Greg@Keller.net</a>><br>Subject: Re: [Beowulf] building Infiniband 4x cluster questions<br>To: <a ymailto="mailto:beowulf@beowulf.org" href="/mc/compose?to=beowulf@beowulf.org">beowulf@beowulf.org</a><br>Message-ID: <<a ymailto="mailto:4EB83DDF.5020902@Keller.net" href="/mc/compose?to=4EB83DDF.5020902@Keller.net">4EB83DDF.5020902@Keller.net</a>><br>Content-Type: text/plain; charset=ISO-8859-1; format=flowed<br><br><br>> Date: Mon, 07 Nov 2011 13:16:00 -0500<br>> From: Prentice Bisbal<<a ymailto="mailto:prentice@ias.edu" href="/mc/compose?to=prentice@ias.edu">prentice@ias.edu</a>><br>> Subject: Re: [Beowulf] building Infiniband 4x cluster questions<br>> Cc: Beowulf Mailing List<<a ymailto="mailto:beowulf@beowulf.org"
 href="/mc/compose?to=beowulf@beowulf.org">beowulf@beowulf.org</a>><br>> Message-ID:<<a ymailto="mailto:4EB82060.3050300@ias.edu" href="/mc/compose?to=4EB82060.3050300@ias.edu">4EB82060.3050300@ias.edu</a>><br>> Content-Type: text/plain; charset=ISO-8859-1<br>><br>> Vincent,<br>><br>> Don't forget that between SDR and QDR, there is DDR.  If SDR is too<br>> slow, and QDR is too expensive, DDR might be just right.<br>And for DDR a key thing is, when latency matters, "ConnectX" DDR is much <br>better than the earlier "Infinihost III" DDR cards.  We have 100's of <br>each and the ConnectX make a large impact for some codes.  Although <br>nearly antique now, we actually have plans for the ConnectX cards in yet <br>another round of updated systems.  This is the 3rd Generation system I <br>have been able to re-use the cards in (Harperton, Nehalem, and now <br>Single Socket Sandy Bridge), which makes me very
 happy.  A great <br>investment that will likely live until PCI-Gen3 slots are the norm.<br>--<br>Da Bears?!<br><br>> --<br>> Goldilocks<br>><br>><br>> On 11/07/2011 11:58 AM, Vincent Diepeveen wrote:<br>>> >  hi Prentice,<br>>> ><br>>> >  I had noticed the diff between SDR up to QDR,<br>>> >  the SDR cards are affordable, the QDR isn't.<br>>> ><br>>> >  The SDR's are all $50-$75 on ebay now. The QDR's i didn't find cheap<br>>> >  prices in that pricerange yet.<br>>> ><br>>> >  If i would want to build a network that's low latency and had a budget<br>>> >  of $800 or so a node of course i would<br>>> >  build a dolphin SCI network, as that's probably the fastest latency<br>>> >  card sold for a $675 or so a piece.<br>>> ><br>>> >  I do not really see a rival
 latency wise to Dolphin there. I bet most<br>>> >  manufacturers selling clusters don't use<br>>> >  it as they can make $100 more profit or so selling other networking<br>>> >  stuff, and universities usually swallow that.<br>>> ><br>>> >  So price total dominates the network. As it seems now infiniband 4x is<br>>> >  not going to offer enough performance.<br>>> >  The one-way pingpong latencies over a switch that i see of it, are not<br>>> >  very convincing. I see remote writes to RAM<br>>> >  are like nearly 10 microseconds for 4x infiniband and that card is the<br>>> >  only one affordable.<br>>> ><br>>> >  The old QM400's i have here are one-way pingpong 2.1 us or so, and<br>>> >  QM500-B's are plentyful on the net (of course big disadvantage: needs<br>>> > 
 pci-x),<br>>> >  which are a 1.3 us or so there and have SHMEM. Not seeing a cheap<br>>> >  switch for the QM500's though nor cables.<br>>> ><br>>> >  You see price really dominates everything here. Small cheap nodes you<br>>> >  cannot build if the port price, thanks to expensive network card,<br>>> >  more than doubles.<br>>> ><br>>> >  Power is not the real concern for now - if a factory already burns a<br>>> >  couple of hundreds of megawatts, a small cluster somewhere on the<br>>> >  attick eating<br>>> >  a few kilowatts is not really a problem:)<br>>> ><br><br><br><br></div></blockquote></div></td></tr></table>