<div dir="ltr">At Job$1 we run multiple clusters on top on openstack. We are a very interactive HPC shop and it really helps to deliver things that we couldn't easily do any other way. The cgroups side of things is used pretty heavily but it doesn't always address contention in the way a dedicated VM can. Our networks are hardware passthrough ROCE and work without major issue typically. We did have a whole assortment of issues with undocumented "features" at the beginning but it is all quite mature now with MPI working with no issues. It probably only really makes sense if you already have cloud admins looking after the hardware side and the HPC admins look after everything else. If you had to do both then I'd argue that's not an efficient use of people time. If you want to talk about it in more depth just let me know?<div><br><div><br clear="all"><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr">Cheers,<br><br>Lance<br>--<br>Dr Lance Wilson<br>Characterisation Virtual Laboratory (CVL) Coordinator &</div><div dir="ltr">Senior HPC Consultant</div><div>Ph: 03 99055942 (+61 3 99055942)</div><div dir="ltr">Mobile: 0437414123 (+61 4 3741 4123)</div><div dir="ltr">Multi-modal Australian ScienceS Imaging and Visualisation Environment<br>(<a href="http://www.massive.org.au/" rel="noreferrer" style="color:rgb(17,85,204)" target="_blank">www.massive.org.au</a>)<br>Monash University<br></div></div></div></div></div></div></div></div></div><br></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, 1 Jul 2020 at 15:05, Chris Samuel <<a href="mailto:chris@csamuel.org">chris@csamuel.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex">On 29/6/20 5:09 pm, Jörg Saßmannshausen wrote:<br>
<br>
> we are currently planning a new cluster and this time around the idea was to<br>
> use OpenStack for the HPC part of the cluster as well.<br>
> <br>
> I was wondering if somebody has some first hand experiences on the list here.<br>
<br>
At $JOB-2 I helped a group set up a cluster on OpenStack (they were <br>
resource constrained, they had access to OpenStack nodes and that was <br>
it).  In my experience it was just another added layer of complexity for <br>
no added benefit and resulted in a number of outages due to failures in <br>
the OpenStack layers underneath.<br>
<br>
Given that Slurm which was being used there already had mature cgroups <br>
support there really was no advantage to them to having a layer of <br>
virtualisation on top of the hardware, especially as (if I'm remembering <br>
properly) in the early days the virtualisation layer didn't properly <br>
understand the Intel CPUs we had and so didn't reflect the correct <br>
capabilities to the VM.<br>
<br>
All that said, these days it's likely improved, and I know then people <br>
were thinking about OpenStack "Ironic" which was a way for it to manage <br>
bare metal nodes.<br>
<br>
But I do know the folks in question eventually managed to go to purely a <br>
bare metal solution and seemed a lot happier for it.<br>
<br>
As for IB, I suspect that depends on the capabilities of your <br>
virtualisation layer, but I do believe that is quite possible. This <br>
cluster didn't have IB (when they started getting bare metal nodes they <br>
went RoCE instead).<br>
<br>
All the best,<br>
Chris<br>
-- <br>
  Chris Samuel  :  <a href="http://www.csamuel.org/" rel="noreferrer" target="_blank">http://www.csamuel.org/</a>  :  Berkeley, CA, USA<br>
_______________________________________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="https://beowulf.org/cgi-bin/mailman/listinfo/beowulf" rel="noreferrer" target="_blank">https://beowulf.org/cgi-bin/mailman/listinfo/beowulf</a><br>
</blockquote></div>