<div dir="ltr">So "clusters" is a strong word, we have a collection of ~22,000 cores of assorted systems, basically if someone leaves a laptop laying around unprotected we might try to run a job on it. And being bioinformatic-y, our problem with this and all storage is metadata related. The original procurement did not include dedicated NSD servers (or extra GPFS server licenses) so we run solely off the SFA12K's. <div><br></div><div>Could we improve with dedicated NSD frontends and GPFS clients? Yes, most certainly. But again, we can stand up a PB or more of brand new SuperMicro storage fronted by BeeGFS  that performs as well or better for around the same cost, if not less. I don't have enough of an emotional investment in GPFS or DDN to convince myself that suggesting further tuning that requires money and time is worthwhile for our environment. It more or less serves the purpose it was bought for, we learn from the experience and move on down the road. </div><div><br></div><div>jbh</div></div><br><div class="gmail_quote"><div dir="ltr">On Wed, Feb 15, 2017 at 9:12 AM Christopher Samuel <<a href="mailto:samuel@unimelb.edu.au">samuel@unimelb.edu.au</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">On 15/02/17 17:03, John Hanks wrote:<br class="gmail_msg">
<br class="gmail_msg">
> When we were looking at a possible GPFS client license purchase we ran<br class="gmail_msg">
> the client on our nodes and did some basic testing. The client did give<br class="gmail_msg">
> us a bit of a boost in performance over NFS, but still we could tip GPFS<br class="gmail_msg">
> over with a small fraction of our available nodes.<br class="gmail_msg">
<br class="gmail_msg">
Wow that's odd, how large are your clusters?<br class="gmail_msg">
<br class="gmail_msg">
We were hitting ours with 2 Intel clusters (1,000+ cores each) and 4<br class="gmail_msg">
racks of BlueGene/Q (65,5535 cores, 4096 nodes).<br class="gmail_msg">
<br class="gmail_msg">
However, we do have our GPFS metadata on an SSD array connected to 2<br class="gmail_msg">
dedicated NSD servers (active/active) and our SFA10K's are frontended by<br class="gmail_msg">
4 NSD servers each (again active/active pairs to give redundancy).<br class="gmail_msg">
<br class="gmail_msg">
cheers,<br class="gmail_msg">
Chris<br class="gmail_msg">
--<br class="gmail_msg">
 Christopher Samuel        Senior Systems Administrator<br class="gmail_msg">
 VLSCI - Victorian Life Sciences Computation Initiative<br class="gmail_msg">
 Email: <a href="mailto:samuel@unimelb.edu.au" class="gmail_msg" target="_blank">samuel@unimelb.edu.au</a> Phone: +61 (0)3 903 55545<br class="gmail_msg">
 <a href="http://www.vlsci.org.au/" rel="noreferrer" class="gmail_msg" target="_blank">http://www.vlsci.org.au/</a>      <a href="http://twitter.com/vlsci" rel="noreferrer" class="gmail_msg" target="_blank">http://twitter.com/vlsci</a><br class="gmail_msg">
_______________________________________________<br class="gmail_msg">
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" class="gmail_msg" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br class="gmail_msg">
To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf" rel="noreferrer" class="gmail_msg" target="_blank">http://www.beowulf.org/mailman/listinfo/beowulf</a><br class="gmail_msg">
</blockquote></div><div dir="ltr">-- <br></div><div data-smartmail="gmail_signature"><div dir="ltr"><div>‘[A] talent for following the ways of yesterday, is not sufficient to improve the world of today.’</div><div> - King Wu-Ling, ruler of the Zhao state in northern China, 307 BC</div></div></div>