<html>

  <head>

    <meta content="text/html; charset=windows-1252"

      http-equiv="Content-Type">

  </head>

  <body bgcolor="#FFFFFF" text="#000000">

    <div class="moz-cite-prefix">Hi Jörg,<br>

      <br>

      Have you tried using the subnet manager from Mellanox OFED (which

      is free)? That's what we use on our big heterogeneous cluster at

      NASA.<br>

      <br>

      HTH<br>

      <br>

      -jeff<br>

      <br>

      On 09/15/2015 08:55 AM, Jörg Saßmannshausen wrote:<br>

    </div>

    <blockquote

      cite="mid:201509151655.56765.j.sassmannshausen@ucl.ac.uk"

      type="cite">

      <pre wrap="">Dear all,

I am a bit confused and I was wondering whether somebody on the list could 

give me a bit of advice here.

I was previously using QLogic for my QDR InfiniBand network. I got one master 

switch which got the licence for the InfiniBand installed and things appear to 

work ok. At least I cannot detect any problems despite adding switches and 

nodes to the fabric.

Now, we recently purchased a new cluster with 20 cores per node and here I 

decided to go for FDR to be a bit more future proofed as well. So I got the 

'normal' licence from Mellanox for the cluster. I got one licence per node so 

I assumed that was ok.

Now, we are in the process to set up another cluster with a mixture of older 

and newer hardware. Again I have decided to opt for the FDR simply to be a bit 

more future proofed. And this is where the confusion comes in.

Apparently I do need now the UFM (Unified Fibre Manager) from Mellanox to run 

the InfiniBand. However, the normal licence is only for up to 16 cores per node 

and I would need the more expensive exhanced licence.

>From what I and a colleague of mine can see the UFM is nothing more than the 

requires subnet manager plus some diagnostic tools. 

There are two questions here:

- do we really need the exhanced UFM licence or is that just a way to make 

money?

- would the open source subnet manage work as well and would the open source 

diagnostic tools be ok?

- why do I need to pay for a licence for each node? Somehow I cannot recall 

having done that in the past.

Unfortunately, InfiniBand is not my strong side and thus I would appreciate and 

advice here. 

All the best from a meanwhile sunny London

Jörg

</pre>

      <br>

      <fieldset class="mimeAttachmentHeader"></fieldset>

      <br>

      <pre wrap="">_______________________________________________

Beowulf mailing list, <a class="moz-txt-link-abbreviated" href="mailto:Beowulf@beowulf.org">Beowulf@beowulf.org</a> sponsored by Penguin Computing

To change your subscription (digest mode or unsubscribe) visit <a class="moz-txt-link-freetext" href="http://www.beowulf.org/mailman/listinfo/beowulf">http://www.beowulf.org/mailman/listinfo/beowulf</a>

</pre>

    </blockquote>

    <br>

  </body>

</html>