<div dir="ltr">As Paul says - start a subnet manager.  I guess you are using the distro supplied IB stack?<div>Run the following commands:</div><div>sminfo</div><div>ibdiagnet</div><div><br></div><div>these will check out your subnet manager and your fabric</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, 20 Oct 2021 at 17:21, Paul Edmon via Beowulf <<a href="mailto:beowulf@beowulf.org">beowulf@beowulf.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
  
    
  
  <div>
    <p>Oh you will also need a IB subnet manager (opensm) running since
      you have an unmanaged switch.  You can start this on one of the
      compute nodes.   I would probably start up 2 so you have
      redundancy.</p>
    <p>-Paul Edmon-<br>
    </p>
    <div>On 10/20/2021 6:08 AM, leo camilo
      wrote:<br>
    </div>
    <blockquote type="cite">
      
      <div dir="ltr">
        <div> I have recently acquired a few ConnectX-3 cards and an
          unmanaged IB switch (IS5022) to upgrade my department's
          beowulf cluster. <br>
        </div>
        <div><br>
        </div>
        <div>Thus far, I have been able to verify that the cards and
          switch work via the MFT and opensource tools in ubuntu, </div>
        <div><br>
        </div>
        <div>Though, I was wondering if anyone knew of any guide or
          resources for setting up a cluster for MPI based computations
          in a linux/debian environment? Some guides about how to make
          it work with SLURM would also be appreciated.<br>
        </div>
        <div><br>
        </div>
        <div>Thanks in advance for any suggestions, I am often a user of
          clusters, but it is my first time setting one up.<br>
        </div>
        <div><br>
        </div>
        <div>Cheers, </div>
        <div><br>
        </div>
        <div>Leonardo<br>
        </div>
      </div>
      <br>
      <fieldset></fieldset>
      <pre>_______________________________________________
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin Computing
To change your subscription (digest mode or unsubscribe) visit <a href="https://beowulf.org/cgi-bin/mailman/listinfo/beowulf" target="_blank">https://beowulf.org/cgi-bin/mailman/listinfo/beowulf</a>
</pre>
    </blockquote>
  </div>
_______________________________________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="https://beowulf.org/cgi-bin/mailman/listinfo/beowulf" rel="noreferrer" target="_blank">https://beowulf.org/cgi-bin/mailman/listinfo/beowulf</a><br>
</blockquote></div>