<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On 9 July 2015 at 00:45, mathog <span dir="ltr"><<a href="mailto:mathog@caltech.edu" target="_blank">mathog@caltech.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><span class="">On 08-Jul-2015 15:43, Jonathan Barber wrote:<br>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
I think you're process is being moved between NUMA nodes and you're losing<br>
locality to the data. Try confining the process and data to the same NUMA<br>
node with the numactl command.<br>
</blockquote>
<br></span>
That's part of it.  I ran a bunch of commands like this:<br>
<br>
 taskset -c 20 dd if=KTEMP1 of=KTEMP0 bs=120000 count=34000<br>
 taskset -c 20 testprogram -in KTEMP0<br></blockquote><div><br></div><div>I don't think taskset constrains the memory to the same NUMA node as the process, so I reckon your 2^34 dd is going across NUMA nodes.</div><div><br></div><div>[snip]</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><span class=""></span>
I don't have anything called hwloc-ls on this system.  What package provides it?  This is a Centos system.</blockquote><div><br></div><div>As Chris said, it's in the <span style="color:rgb(0,0,0);font-size:14px">hwloc package.</span></div><div><span style="color:rgb(0,0,0);font-size:14px"><br></span></div><div><span style="color:rgb(0,0,0);font-size:14px">yum provides "*/hwloc-ls"</span></div><div><br></div><div>Cheers</div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div class=""><div class="h5"><br>
<br>
Thanks,<br>
<br>
David Mathog<br>
<a href="mailto:mathog@caltech.edu" target="_blank">mathog@caltech.edu</a><br>
Manager, Sequence Analysis Facility, Biology Division, Caltech<br>
</div></div></blockquote></div><div><br></div>-- <br><div class="gmail_signature">Jonathan Barber <<a href="mailto:jonathan.barber@gmail.com" target="_blank">jonathan.barber@gmail.com</a>></div>
</div></div>