<div dir="ltr"><div>Fazar,</div><div>I think that you have got things sorted out.</div><div>However I think that the number of optiosn in OpenMPI is starting to confuse you.  But do not lose heart!</div><div>I have been in the same place myself many time.  Specifically I am thinking on one time when a customer asked me to benthmark the latency across 10Gbps interfaces,</div><div>on a cluster where there was already a 1Gbps network and a Mellanox Infiniband network. I had to be careful to exclude the networks I did NOT want!</div><div><br></div><div>I suggest that you set the verbose flag in mpirun and keep a copy of the output. GO through that output line by line making sure you understand what it is telling you.</div><div>I have done that many times!</div><div><br></div><div><br></div><div>Secondly you say " I also tried changing the environment variable: export OMPI_MCA_btl=tcp,self,sm "  - remember that you can switch OFF a transport by using ^tcp</div><div>Please give that a try - ie I mean epxlicitly request openmpi transport and ^tcp</div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On 3 August 2017 at 16:21, Michael Di Domenico <span dir="ltr"><<a href="mailto:mdidomenico4@gmail.com" target="_blank">mdidomenico4@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span>On Thu, Aug 3, 2017 at 10:10 AM, Faraz Hussain <<a href="mailto:info@feacluster.com">info@feacluster.com</a>> wrote:<br>
> Thanks, I installed the MPI tests from Ohio State. I ran osu_bw and got the<br>
> results below. What is confusing is I get the same result if I use tcp or<br>
> openib ( by doing --mca btl openib|tcp,self with my mpirun command ). I also<br>
> tried changing the environment variable: export OMPI_MCA_btl=tcp,self,sm .<br>
> Results are the same regardless of tcp or openib..<br>
><br>
> And when I do ifconfig -a I still see zero traffic reported for the ib0 and<br>
> ib1 network.<br>
<br>
</span>if openmpi uses RDMA for the traffic ib0/ib1 will not show traffic,<br>
you have to use perfquery<br>
<div class="HOEnZb"><div class="h5">______________________________<wbr>_________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf" target="_blank" rel="noreferrer">http://www.beowulf.org/<wbr>mailman/listinfo/beowulf</a><br>
</div></div></blockquote></div><br></div>