<div dir="ltr">Thanks Brian / Carl / Chris for places to look.... it turned out to be what Chris had mentioned and they were only requesting 1 CPU but trying to use all 48 in the machine.<div><br></div><div>Resubmitted the request asking for all CPU's and the job ran in the expected amount of time.</div><div><br></div><div>Thanks again</div><div>Nick</div></div><div class="gmail_extra"><br><div class="gmail_quote">On 6 December 2017 at 12:58, Chris Samuel <span dir="ltr"><<a href="mailto:chris@csamuel.org" target="_blank">chris@csamuel.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">On 6/12/17 11:44 am, Nick Evans wrote:<br>
<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
We have found that if we submit a job to the queue then it takes a long time to process. ie. >4 hours<br>
If we are to run the exact same processing directly on the compute node then it is significantly faster < 1 hour.<br>
</blockquote>
<br></span>
Some quick ideas<br>
<br>
Are you comparing a job that has asked for all cores and all RAM with<br>
it running directly on the node?<br>
<br>
Try using "perf top" to get an idea of what's going on with the node<br>
when doing the comparison runs, perhaps "perf record" too but I can<br>
never remember if an unprivilged user can do that.  That might shed<br>
some light.<br>
<br>
To me it sounds like it might be something that that checks how<br>
many cores a node has naively and then starts that many threads/<br>
processes and if the batch job only asks for a single core, or<br>
less than all, then you might end up with a lot of contention.<br>
<br>
Good luck!<span class="HOEnZb"><font color="#888888"><br>
Chris<br>
-- <br>
 Chris Samuel  :  <a href="http://www.csamuel.org/" rel="noreferrer" target="_blank">http://www.csamuel.org/</a>  :  Melbourne, VIC</font></span><div class="HOEnZb"><div class="h5"><br>
______________________________<wbr>_________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf" rel="noreferrer" target="_blank">http://www.beowulf.org/mailman<wbr>/listinfo/beowulf</a><br>
</div></div></blockquote></div><br></div>