<div dir="ltr"><div><div><div><div>This may be a long shot, especially in a server room where everything else is working as expected.<br></div>It may be the case that there is nothing wrong with the machine itself,<br>but rather with the level of power supplied to the machine by the building's wiring.<br></div>I have seen incorrectly supplied power levels cause unpredictable <a href="http://behaviour.in">behaviour.in</a> a machine.<br></div>But, as I said, it is a long shot.<br><br><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Aug 11, 2017 at 11:35 PM, Chris Samuel <span dir="ltr"><<a href="mailto:samuel@unimelb.edu.au" target="_blank">samuel@unimelb.edu.au</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">On Friday, 11 August 2017 12:39:07 AM AEST Faraz Hussain wrote:<br>
<br>
> I thought it may have to do with cpu scaling, i.e when the kernel<br>
> changes the cpu speed depending on the workload. But we do not have<br>
> that enabled on these machines.<br>
<br>
</span>Just to add to the excellent suggestions from others: have you compared BIOS/<br>
UEFI settings & versions across these nodes to ensure they're identical?<br>
<br>
Also remember that the kernel can enable C states that hurt performance even<br>
if they are disabled in the BIOS/UEFI.   This was painfully apparent on our<br>
first SandyBridge cluster that almost failed the performance part of acceptance<br>
testing until it got found.<br>
<br>
Now we boot all nodes with this in the kernel cmdline:<br>
<br>
intel_idle.max_cstate=0 processor.max_cstate=1 intel_pstate=disable<br>
<br>
Best of luck!<br>
<span class="HOEnZb"><font color="#888888">Chris<br>
--<br>
 Christopher Samuel        Senior Systems Administrator<br>
 Melbourne Bioinformatics - The University of Melbourne<br>
 Email: <a href="mailto:samuel@unimelb.edu.au">samuel@unimelb.edu.au</a> Phone: <a href="tel:%2B61%20%280%293%20903%2055545" value="+61390355545">+61 (0)3 903 55545</a><br>
</font></span><div class="HOEnZb"><div class="h5"><br>
______________________________<wbr>_________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf" rel="noreferrer" target="_blank">http://www.beowulf.org/<wbr>mailman/listinfo/beowulf</a><br>
</div></div></blockquote></div><br></div>