<div dir="ltr"><div>Tom,<br><br>Without digging into the details too much, can you 
describe the Lustre setup? As Bernd alluded to, it might be something in
 the configuration or version that is hampering better performance. But 
then again, you may not want to upgrade to a newer because of 
disruption. But maybe there are some things that can be done to improve 
Lustre performance.<br><br></div>Thanks!<br><br>Jeff</div><div class="gmail_extra"><br><br><div class="gmail_quote">On Thu, Jun 12, 2014 at 7:42 AM, Bernd Schubert <span dir="ltr"><<a href="mailto:bs_lists@aakef.fastmail.fm" target="_blank">bs_lists@aakef.fastmail.fm</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hello Tom,<br>
<br>
this is rather self advertising, but you might want to try out FhGFS/BeeGFS. We spent lots of development resources to have good handling of zillions of small files.<div class=""><br>
<br>
On 06/11/2014 09:03 PM, Tom Harvill wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
Hello,<br>
<br>
This is my first time posting to this list, thanks in advance for any<br>
time you spend<br>
replying.<br>
<br>
We've found that a large majority of our files (~40MM of ~50MM) are less<br>
than 10KB.<br>
We believe our filesystem (lustre) is bottlenecked with IOPs and locking<br>
related to<br>
</blockquote>
<br></div>
It doesn't even need to be locking, just disk seeking for directory entries and inodes might be the bottleneck. Try to monitor your OSTs with 'iostat -x'. If you see a high "%util" field and and around 8 blocks (512 byte) in the avgrq-sz field your disk head is probably seeking around most of the time (avgrq-sz field gets mixed up with other IOs, so you would need to use blktrace to the for the number of meta requests, but blktrace output is not that easy to parse...).<br>

<br>
If you only have a single meta server that also might be the bottleneck, of course.<br>
<br>
<br>
<br>
Cheers,<br>
Bernd<div class="HOEnZb"><div class="h5"><br>
______________________________<u></u>_________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf" target="_blank">http://www.beowulf.org/<u></u>mailman/listinfo/beowulf</a><br>
</div></div></blockquote></div><br></div>