<div dir="ltr">Just another quick thought on this.  <div>The routine pio.c steps through all NUMA zones and checks they are online.</div><div>As we all know (yes, here come the war stories again... zzz) I used to manage an Untraviolet which had 128 NUMA zones.</div><div>I guess I never saw it boot up with any NUMA zones disabled - and probably I woud have had kittens if that happened.</div><div>But looks like the Omnipath driver would check all 128 are online before loading?</div><div><br></div><div>ps. to make it a bit clearer - thats what clued me into this problem.  I tried to run a simple HPL on one of those nodes,</div><div>with Intel MPI and got back a Hydra failure.  Checking through dmesg I saw a failure in the loading of the hfi1 driver,</div><div>and had to look at the driver code which was causing this error message. then homed on on pio.c looking at the online status.</div><div><br></div><div>Clearly in my case the NUMA zones were 0 and 2  -  so looping 0,1 found that 1 was offline!</div><div><br></div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On 16 December 2016 at 22:35, Peter St. John <span dir="ltr"><<a href="mailto:peter.st.john@gmail.com" target="_blank">peter.st.john@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">I notice an odd thing maybe someone more hardware cluefull could explain?<div>Node 1 has 32GB (that is, 32 * 1024 MB) but Node 0 is an odd number (very odd, to me), 32673 is 95 MB short. It doesn't make sense to me that a bank of bad memory would be such a funny number short. </div><span class="HOEnZb"><font color="#888888"><div>Peter</div></font></span></div><div class="gmail_extra"><br><div class="gmail_quote"><div><div class="h5">On Fri, Dec 16, 2016 at 4:59 PM, Greg Lindahl <span dir="ltr"><<a href="mailto:lindahl@pbm.com" target="_blank">lindahl@pbm.com</a>></span> wrote:<br></div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div class="h5">Wow, that's pretty obscure!<br>
<br>
I'd recommend reporting it to Intel so that they can add it to the<br>
descendants of ipath_checkout / ipath_debug. It's exactly the kind of<br>
hidden gotcha that leads to unhappy systems!<br>
<br>
-- greg<br>
<span><br>
On Fri, Dec 16, 2016 at 03:52:34PM +0000, John Hearns wrote:<br>
> Problem solved.<br>
> I have changed the QPI Snoop Mode on these servers from<br>
> ClusterOnDIe Enabled to Disabled and they display what I take to be correct<br>
> behaviour - ie<br>
><br>
> [root@comp006 ~]# numactl --hardware<br>
> available: 2 nodes (0-1)<br>
> node 0 cpus: 0 1 2 3 4 5 6 7 8 9 10 11<br>
> node 0 size: 32673 MB<br>
> node 0 free: 31541 MB<br>
> node 1 cpus: 12 13 14 15 16 17 18 19 20 21 22 23<br>
> node 1 size: 32768 MB<br>
> node 1 free: 31860 MB<br>
> node distances:<br>
> node   0   1<br>
>   0:  10  21<br>
>   1:  21  10<br>
</span></div></div><span class="">______________________________<wbr>_________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf" rel="noreferrer" target="_blank">http://www.beowulf.org/mailman<wbr>/listinfo/beowulf</a><br>
</span></blockquote></div><br></div>
</blockquote></div><br></div>