<br><div class="gmail_quote">2009/10/26 Joe Landman <span dir="ltr"><<a href="mailto:landman@scalableinformatics.com">landman@scalableinformatics.com</a>></span><br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
<div class="im"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"></blockquote>Just curious -- how large and how big are the deltas in the<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
</blockquote>hierarchy?</div></blockquote><div> </div><div>At the start of the year we were seeing an average delta of about 10GB/day, currently we are seeing an average delta of 70GB/day. There are still a number of unknowns, but we are expecting that with next generation DNA sequencing and mass-spectrometry coming on board early next year, that the delta is likely to jump up to ~500GB/day.</div>
<div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;"><div class="im"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

I ask because the new generation of 2TB SATA disks appear to be<br>
establishing the groundwork for a list of new storage options<br>
including cluster file systems that run circles around NFS and large<br>
storage RAIDS.<br>
</blockquote>
<br></div>
HFS's and tiering in general make sense when the cost of the high performance storage per GB or per TB is so large as to make it impractical to keep all of the data on disk.<br>
<br>
As Tom points out, this really isn't the case anymore.  Petabytes of very high speed, very reliable storage can be had for far less money than in the past.<br>
<br>
This doesn't mean that HFSes don't make sense for some cases.  Though those cases are diminishing in number over time.<br></blockquote><div class="gmail_quote"><br></div>Its definitely good to see the cost of large storage coming down, unfortunately in our organisation amount of data that the machines are generating is increasing faster than the storage. The people driving the machines would like to see the raw data held indefinitely, but with approximately 10TB of data for an Illumina run its likely that we will only be able retain it until the intial processing is completed.</div>
<div><br></div><div><br></div><div>Cheers,</div><div><br></div><div>Carl.<br><div> </div></div>