<div dir="ltr"><div><div><div><div><div><br></div>Just a quick addition to this thread (for now), here's the presentation I think Killian refers to:<br><a href="http://www.opensfs.org/wp-content/uploads/2014/04/D2_S16_PLFSandLustrePerformanceComparison.pdf">http://www.opensfs.org/wp-content/uploads/2014/04/D2_S16_PLFSandLustrePerformanceComparison.pdf</a><br>
<br></div>And here's <i>all</i> the slides from LUG 2014:<br><a href="http://opensfs.org/lug-2014-presos/">http://opensfs.org/lug-2014-presos/</a><br><br></div>Some of them are incredibly informative, and I have high hopes for some of the future changes referenced in Andreas Dilger's presentation ( <a href="http://opensfs.org/wp-content/uploads/2014/04/D1_S9_LustreFutureFeatures.pdf">http://opensfs.org/wp-content/uploads/2014/04/D1_S9_LustreFutureFeatures.pdf</a> ) - specifically, I think the combination of DNE (phase 1 & 2) and small files on MDTs should help immensely with both IOPS and overall throughput on those sorts of small-file workloads.  <br>
<br></div>Cheers,<br></div>  - Brian<br><br></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Fri, Jun 13, 2014 at 2:02 PM, Kilian Cavalotti <span dir="ltr"><<a href="mailto:kilian.cavalotti.work@gmail.com" target="_blank">kilian.cavalotti.work@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="">On Fri, Jun 13, 2014 at 7:03 AM, Ellis H. Wilson III <<a href="mailto:ellis@cse.psu.edu">ellis@cse.psu.edu</a>> wrote:<br>

> a) Fix it transparently with automatic policies/FS's in the back-end. (I<br>
> know of at least one FS that packs small files with metadata transparently<br>
> on SSDs to expedite small file IOPS, but message me off-list for that as I<br>
> start work for that shop soon and don't want to so blatantly advertise).<br>
> There are limits to how much these policies/FS's can fix though.  Bad I/O<br>
> will still be Bad I/O after a point.<br>
<br>
</div>Speaking of which, there's this project from Los Alamos, PLFS<br>
(<a href="https://github.com/plfs/plfs-core" target="_blank">https://github.com/plfs/plfs-core</a>), that tries to aggregate random<br>
I/O from applications into sequential operations that better suit the<br>
underlying parallel filesystem. Never used it myself, but I've seen a<br>
presentation from Brett Kettering at LUG'14 which outlined nice<br>
performance improvements for some use cases.<br>
<br>
Cheers,<br>
<span class="HOEnZb"><font color="#888888">--<br>
Kilian<br>
</font></span><div class="HOEnZb"><div class="h5">_______________________________________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf" target="_blank">http://www.beowulf.org/mailman/listinfo/beowulf</a><br>
</div></div></blockquote></div><br></div>