<div dir="ltr"><div>Did you install libibverbs  (and libibverbs-utils, for information and troubleshooting)?<br></div><div><br></div><div>yum list |grep ibverbs </div><div><br></div><div>Are you loading the ib modules?</div><div><br></div><div>lsmod |grep ib<br></div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Apr 30, 2019 at 10:14 AM Faraz Hussain <<a href="mailto:info@feacluster.com">info@feacluster.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">I installed RedHat 7.5 on two machines with the following Mellanox cards:<br>
<br>
87:00.0 Network controller: Mellanox Technologies MT27520 Family  <br>
[ConnectX-3 Pro<br>
<br>
I followed the steps outlined here to verify RDMA is working:<br>
<br>
<a href="https://community.mellanox.com/s/article/howto-enable-perftest-package-for-upstream-kernel" rel="noreferrer" target="_blank">https://community.mellanox.com/s/article/howto-enable-perftest-package-for-upstream-kernel</a><br>
<br>
However, I cannot seem to get Open MPI 3.0.2 to work. When I run it, I  <br>
get this error:<br>
<br>
--------------------------------------------------------------------------<br>
<br>
No OpenFabrics connection schemes reported that they were able to be<br>
<br>
used on a specific port. As such, the openib BTL (OpenFabrics<br>
<br>
support) will be disabled for this port.<br>
<br>
<br>
  Local host:      lustwzb34<br>
<br>
  Local device:     mlx4_0<br>
<br>
  Local port:      1<br>
<br>
  CPCs attempted:    rdmacm, udcm<br>
<br>
--------------------------------------------------------------------------<br>
<br>
Then it just hangs till I press control C.<br>
<br>
I understand this may be an issue with RedHat,  Open MPI or Mellanox.  <br>
Any ideas to debug which place it could be?<br>
<br>
Thanks!<br>
<br>
_______________________________________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="https://beowulf.org/cgi-bin/mailman/listinfo/beowulf" rel="noreferrer" target="_blank">https://beowulf.org/cgi-bin/mailman/listinfo/beowulf</a><br>
</blockquote></div>