<div dir="ltr">I notice an odd thing maybe someone more hardware cluefull could explain?<div>Node 1 has 32GB (that is, 32 * 1024 MB) but Node 0 is an odd number (very odd, to me), 32673 is 95 MB short. It doesn't make sense to me that a bank of bad memory would be such a funny number short. </div><div>Peter</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Dec 16, 2016 at 4:59 PM, Greg Lindahl <span dir="ltr"><<a href="mailto:lindahl@pbm.com" target="_blank">lindahl@pbm.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Wow, that's pretty obscure!<br>
<br>
I'd recommend reporting it to Intel so that they can add it to the<br>
descendants of ipath_checkout / ipath_debug. It's exactly the kind of<br>
hidden gotcha that leads to unhappy systems!<br>
<br>
-- greg<br>
<span class=""><br>
On Fri, Dec 16, 2016 at 03:52:34PM +0000, John Hearns wrote:<br>
> Problem solved.<br>
> I have changed the QPI Snoop Mode on these servers from<br>
> ClusterOnDIe Enabled to Disabled and they display what I take to be correct<br>
> behaviour - ie<br>
><br>
> [root@comp006 ~]# numactl --hardware<br>
> available: 2 nodes (0-1)<br>
> node 0 cpus: 0 1 2 3 4 5 6 7 8 9 10 11<br>
> node 0 size: 32673 MB<br>
> node 0 free: 31541 MB<br>
> node 1 cpus: 12 13 14 15 16 17 18 19 20 21 22 23<br>
> node 1 size: 32768 MB<br>
> node 1 free: 31860 MB<br>
> node distances:<br>
> node   0   1<br>
>   0:  10  21<br>
>   1:  21  10<br>
</span>______________________________<wbr>_________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf" rel="noreferrer" target="_blank">http://www.beowulf.org/<wbr>mailman/listinfo/beowulf</a><br>
</blockquote></div><br></div>