On Wed, 11 Oct 2017 10:12:02 -0400<br>
Michael Di Domenico <mdidomenico4@gmail.com> wrote:<br>
<br>
> i'm seeing issues on a mellanox fdr10 cluster where the mpi setup and<br>
> teardown takes longer then i expect it should on larger rank count<br>
> jobs.  i'm only trying to run ~1000 ranks and the startup time is over<br>
> a minute.  i tested this with both openmpi and intel mpi, both exhibit<br>
> close to the same behavior.<br>
<br>
First, that performance is not expected nor good. It should be sub 1s<br>
for 1000 ranks or so YMMV...<br>
<br>
One possibility is that you got some slow and/or flaky tcp/ip/eth<br>
involved somehow.<br>
<br>
Another is that your MPIs tried to use rdmacm and that in turn tried to<br>
use ibacm which, if incorrectly setup, times out after ~1m. You can<br>
verify ibacm functionality by running for example:<br>
<br>
user@n1 $ ib_acme -d n2<br>
...<br>
user@n1 $<br>
<br>
This should be near instant if ibacm works as it should.<br>
<br>
If you use IntelMPI (and by default then dapl). Edit your dat.conf or<br>
manually select the ucm dapl provider. This is fast and does not use<br>
rdmacm.<br>
<br>
Good luck,<br>
 Peter K<br>
<br>
> has anyone else seen this or might know how to fix it?  i expect ~1000<br>
> ranks to take sometime to setup, but it seems to be taking longer then<br>
> i think it should<br>
> _______________________________________________<br>
> Beowulf mailing list, Beowulf@beowulf.org sponsored by Penguin<br>
> Computing To change your subscription (digest mode or unsubscribe)<br>
> visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf">http://www.beowulf.org/mailman/listinfo/beowulf</a><br>
<br>
<br>
-- <br>
Sent from my Android device with K-9 Mail. Please excuse my brevity.