<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div>Hi Chris,</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Message: 2<br>
Date: Fri, 08 Jun 2018 17:21:56 +1000<br>
From: Chris Samuel <<a href="mailto:chris@csamuel.org">chris@csamuel.org</a>><br>
To: <a href="mailto:beowulf@beowulf.org">beowulf@beowulf.org</a><br>
Subject: [Beowulf] Avoiding/mitigating fragmentation of systems by<br>
        small   jobs?<br>
Message-ID: <2427060.afPWsf2KXH@quad><br>
Content-Type: text/plain; charset="us-ascii"<br>
<br>
Hi all,<br>
<br>
I'm curious to know what/how/where/if sites do to try and reduce the impact of <br>
fragmentation of resources by small/narrow jobs on systems where you also have <br>
to cope with large/wide parallel jobs?<br>
<br>
For my purposes a small/narrow job is anything that will fit on one node <br>
(whether a single core job, multi-threaded or MPI).<br>
<br></blockquote><div><br></div><div>Somewhat ancient history for me now and we didn't have to deal with multi-node jobs...  :)</div><div><br></div><div>Hopefully my memory doesn't let me down and no doubt my successor has tweaked things :)</div><div><br></div><div>But on our Torque/Moab system at $JOB -1 we just used to place a higher priority multiplier on larger jobs, which had the effect of the scheduler shuffling things around so they'd run as soon as possible.  We had a fairly complex prioritisation setup there, so job size was only one factor.</div><div><br></div><div><br></div><div>........ 8< Snip .....</div><div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">But really I'm curious to know what people do about this, or do you not worry <br>
about it at all and just let the scheduler do its best?<br></blockquote><div> </div><div>Pretty much this really, given the other priority multipliers</div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
All the best,<br>
Chris<br>
</blockquote><div><br></div><div>Andrew</div><div>(wondering why he can't let this list go)</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">-- <br>
 Chris Samuel  :  <a href="http://www.csamuel.org/" rel="noreferrer" target="_blank">http://www.csamuel.org/</a>  :  Melbourne, VIC<br>
<br></blockquote></div><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div>-<br> <a href="https://picasaweb.google.com/107747436224613508618" target="_blank">https://picasaweb.google.com/107747436224613508618</a><br>-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-<br><h1 style="margin:0px 0px 15px;color:rgb(24,24,24);font-weight:normal;padding:0px;font-size:14px;font-family:Merriweather,Georgia,serif;line-height:21px">“We need the tonic of wildness.... We can never have enough of nature.”</h1><h1 style="margin:0px 0px 15px;color:rgb(24,24,24);font-weight:normal;padding:0px;font-size:14px;font-family:Merriweather,Georgia,serif;line-height:21px">― <a href="http://www.goodreads.com/author/show/10264.Henry_David_Thoreau" style="color:rgb(51,51,51);font-family:Lato,"Helvetica Neue",Helvetica,sans-serif;font-weight:bold" target="_blank">Henry David Thoreau</a>, <span><a href="http://www.goodreads.com/work/quotes/2361393" style="color:rgb(51,51,51);font-family:Lato,"Helvetica Neue",Helvetica,sans-serif;font-weight:bold" target="_blank">Walden: Or, Life in the Woods</a></span></h1></div><div>-<br></div></div></div></div></div></div>
</div></div>