<div dir="ltr"><div>Faraz, do you mean the IPOIB tcp network, ie the ib0 interface?</div><div>Good question.  I would advise joining the Openmpi list. They are very friendly over there.</div><div>I have always seen polite and helpful replies even to dumb questions there (such as the ones I ask).</div><div><br></div><div>I actually had to do something similar recently - we have nodes with only IB, so I had to run OpenMPI over Infiniband,</div><div>but also say that the control connection had to use the ib0 interface.</div><div><br></div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On 3 August 2017 at 17:41, Faraz Hussain <span dir="ltr"><<a href="mailto:info@feacluster.com" target="_blank">info@feacluster.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Thanks for everyone's help. Using the Ohio State tests, qperf and perfquery I am convinced the IB network is working. The only thing that still bothers me is I can not get mpirun to use the tcp network. I tried all combinations of --mca btl to no avail. It is not important, more just curiosity.<div class="HOEnZb"><div class="h5"><br>
<br>
<br>
Quoting Michael Di Domenico <<a href="mailto:mdidomenico4@gmail.com" target="_blank">mdidomenico4@gmail.com</a>>:<br>
<br>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;padding-left:1ex;border-left-color:rgb(204,204,204);border-left-width:1px;border-left-style:solid">
On Thu, Aug 3, 2017 at 10:10 AM, Faraz Hussain <<a href="mailto:info@feacluster.com" target="_blank">info@feacluster.com</a>> wrote:<br>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;padding-left:1ex;border-left-color:rgb(204,204,204);border-left-width:1px;border-left-style:solid">
Thanks, I installed the MPI tests from Ohio State. I ran osu_bw and got the<br>
results below. What is confusing is I get the same result if I use tcp or<br>
openib ( by doing --mca btl openib|tcp,self with my mpirun command ). I also<br>
tried changing the environment variable: export OMPI_MCA_btl=tcp,self,sm .<br>
Results are the same regardless of tcp or openib..<br>
<br>
And when I do ifconfig -a I still see zero traffic reported for the ib0 and<br>
ib1 network.<br>
</blockquote>
<br>
if openmpi uses RDMA for the traffic ib0/ib1 will not show traffic,<br>
you have to use perfquery<br>
______________________________<wbr>_________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf" target="_blank" rel="noreferrer">http://www.beowulf.org/mailman<wbr>/listinfo/beowulf</a><br>
</blockquote>
<br>
<br>
<br>
______________________________<wbr>_________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf" target="_blank" rel="noreferrer">http://www.beowulf.org/mailman<wbr>/listinfo/beowulf</a><br>
</div></div></blockquote></div><br></div>