<div>I often use <br></div><pre>mpirun --np 2 --machinefile mpd.hosts mpitests-osu_latency 
mpirun --np 2 --machinefile mpd.hosts mpitests-osu_bw<br></pre><div>To test bandwidth and latency between to specific nodes (listed in mpd.hosts). On a CentOS/Redhat system these can be installed from the package mpitests-openmpi.<br></div><div><br></div><div>/jon<br></div><div><br></div><div><br></div><div>On 2 August 2017 at 18:44:17 +02:00, Faraz Hussain <info@feacluster.com> wrote:<br></div><blockquote type="cite"><div class="oneComWebmail-mail"><div class="oneComWebmail-body"><div>I have inherited a 20-node cluster that supposedly has an infiniband  network. I am testing some mpi applications and am seeing no  performance improvement with multiple nodes. So I am wondering if the  Infiband network even works?<br></div><div><br></div><div>The output of ifconfig -a shows an ib0 and ib1 network. I ran ethtools  ib0 and it shows:<br></div><div><br></div><div>Speed: 40000Mb/s<br></div><div>Link detected: no<br></div><div><br></div><div>and for ib1 it show:<br></div><div><br></div><div>Speed: 10000Mb/s<br></div><div>Link detected: no<br></div><div><br></div><div>I am assuming this means it is down? Any idea how to debug further and  restart it?<br></div><div><br></div><div>Thanks!<br></div><div><br></div><div>_______________________________________________<br></div><div>Beowulf mailing list, Beowulf@beowulf.org sponsored by Penguin Computing<br></div><div>To change your subscription (digest mode or unsubscribe) visit <a target="_blank" href="http://www.beowulf.org/mailman/listinfo/beowulf">http://www.beowulf.org/mailman/listinfo/beowulf</a><br></div></div></div></blockquote><div><br></div>