<div dir="ltr"><div>In the topic on avoiding fragmentation Chris Samuel wrote:</div><div><br></div><div>>Our trick in Slurm is to use the slurmdprolog script to set an XFS project<br>
>quota for that job ID on the per-job directory (created by a plugin which<br>
>also makes subdirectories there that it maps to /tmp and /var/tmp for the<br>
>job) on the XFS partition used for local scratch on the node.<br>
</div><div><br></div><div>I had never thought of that, and it is a very neat thing to do.</div><div>What I would like to discuss is the more general topic of clearing files from 'fast' storage.</div><div>Many sites I have seen have dedicated fast/parallel storage which is referred to as scratch space.</div><div>The intention is to use this scratch space for the duration of a project, as it is expensive.</div><div>However I have often seen that the scratch space i used as permanent storage, contrary to the intentions of whoever sized it, paid for it and installed it.<br></div><div><br></div><div>I feel that the simplistic 'run a cron job and delete files older than N days' is outdated.</div><div><br></div><div>My personal take is that heirarchical storage is the answere, automatically pushing files to slower and cheaper tiers.</div><div><br></div><div>But the thought struck me - in the Slurm prolog script create a file called</div><div>THESE-FILES-WILL-SELF-DESTRUCT-IN-14-DAYS</div><div>Then run a cron job to decrement the figure 14</div><div>I guess that doesnt cope with running multiple jobs on the same data set - but then again running a job marks that data as 'hot' an dyou reset the timer to 14 days.</div><div><br></div><div>What do most sites do for scratch space?<br></div><div><br></div><div><br></div><div><br></div></div>