<div dir="ltr">Hi Peter,<div>we are running LSF 9.1.1.1 on one of our new clusters here at ICR. We allowed jobs sharing nodes but enabled cgroups support in LSF to perform job isolation using core and memory control. So far so good. SGE supports cgroups too but I don't know how well.</div>
<div><br></div><div>Compartmentalisation is interesting for us too. For example, in the context when several versions of the same application must be maintained and provided for users but the apps in turn depend on various perl/python/R modules the version requirements of which may contradict to each other.<br>
<div class="gmail_extra">Perhaps if ensemble could be shipped as a container that could be a start.</div><div class="gmail_extra"><br></div><div class="gmail_extra">Best</div><div class="gmail_extra">Igor<br><br><div class="gmail_quote">
On 27 November 2013 12:01, Peter Clapham <span dir="ltr"><<a href="mailto:pc7@sanger.ac.uk" target="_blank">pc7@sanger.ac.uk</a>></span> wrote:<br><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div class="HOEnZb"><div class="h5"><span style="color:rgb(34,34,34)">This is something that is being strongly considered in house. As we are</span><br></div></div>
increasingly being exposed to restricted data sets the security model is<br>
very compelling. There is also a secondary and possibly equally<br>
important aspect for our users.<br>
<br>
In the bio-informatics arena the local software half life is<br>
approximately 6-12 months. This, along with the wide range of<br>
applications in use rapidly creates an environment where users can cross<br>
link or pick up binaries or libraries that they weren't expecting.<br>
Rolling containers with predefined environments would not only<br>
potentially alleviate these potential pitfalls BUT they could provide an<br>
environment in which data can be re-analysed at a future date in against<br>
the same pre-defined environment.<br>
<br>
So in short I would be very surprised if we are not running something<br>
along exactly these lines in the (hopefully) very near future. If there<br>
is the interest we'd be happy to pass on our war stories / experiences<br>
along the way.<br>
<br>
Commercial options also exist...<br>
As an aside for those who pay to use IBMs Platform LSF they have had an<br>
integrated CGROUP environment for a while now. They also provide various<br>
supported options for managing such instances in their portfolio. So far<br>
we have only investigated integrating the lsf CGROUPS within lsf and<br>
whilst we have found some interesting features / bugs, the patches<br>
provided and early results are very promising.<br>
<br>
If anyone has similarly prodded the world of HPC and cgroups we'd be<br>
very interested in hearing how you get on.<br>
<br>
Pete<br>
<span class="HOEnZb"><font color="#888888"><br>
<br>
--<br>
 The Wellcome Trust Sanger Institute is operated by Genome Research<br>
 Limited, a charity registered in England with number 1021457 and a<br>
 company registered in England with number 2742969, whose registered<br>
 office is 215 Euston Road, London, NW1 2BE.<br>
</font></span><div class="HOEnZb"><div class="h5"><br>
</div></div></blockquote></div><br></div></div></div>