<br>
<div>
<blockquote class="gmail_quote" style="PADDING-LEFT: 1ex; MARGIN: 0px 0px 0px 0.8ex; BORDER-LEFT: #ccc 1px solid"><br>>> also, I'm sorta amazed people keep selling (and presumably buying)<br>>> dual-port IB cards.  doesn't that get quite expensive, switch-wise?
<br>><br>> Not defending them but, It could possibly maybe be useful if you have a<br>> stand-alone IB net for, say, storage or something else not mpi. Also, it's<br>> not like they're that much more expensive than single port ones...
<br><br>yeah, I can see PHB's buying redundant fabrics.  I'd be more interested in<br>using the higher port-count for FNN or related topologies (assuming switches<br>are cheap, at least at some size...)</blockquote>

<div> </div>
<div>I was wondering if Peter K's remark generalized: if there are multiple ports, the node has a choice, which may be application dependent. One port for MPI and the other to a disk farm seems clear, but it still isn't obvious to me that a star topology with few long cables to a huge switch is always better than many short cables with more ports per node but no switches. (I myself don't have any feel for how much bottleneck a switch is, just topologically it seems scary). 
</div>
<div> </div>
<div>I'd been thinking about overlaying a Flat Neighborhood Network with a Hypercube, so that various sized subclusters could compete to optimize their topology for an application. But what I imagine building for myself this summer is too few nodes and would need too many ports/node for me to try myself anytime soon.
</div>
<div> </div>
<div>Peter</div><br> </div>