thanks for all yoru responses. i admit i dont have the money at the moment or a job to get my hands dirty with hpc. im planning in the future to setup a rendering cluster. i appreciate all the feed back here. <br><br>im just wondering now would for instance a head node be of any use running virtualized guest os's or does the head node need to not share the hardware with other os's<br>

<br><div class="gmail_quote">On Wed, Jan 27, 2010 at 4:18 PM, Gavin Burris <span dir="ltr"><<a href="mailto:bug@sas.upenn.edu">bug@sas.upenn.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">

The cost for virtualization is in buying really big hardware, oodles of<br>
memory and many many cores, that are capable of running multiple VMs,<br>
and having that hardware configured for redundancy, high availability<br>
and failover.<br>
<br>
With an HPC cluster, you are typically buying hardware that is as<br>
stripped down and cheap as you can get it.  You focus your HPC budget on<br>
the sweet-spot processor, the amount of memory, maybe GPUs, maybe<br>
interconnect, so you can deploy as many compute server nodes as you can<br>
afford.<br>
<br>
I don't buy the argument that the winning case is packaging up a VM with<br>
all your software.  If you really are unable to build the required<br>
software stack for a given cluster and its OS, I think using something<br>
like xCAT to provision stateless compute servers per job is a better<br>
option than virtualization.<br>
<br>
And if you are packaging VMs to blast out to the cloud, I think you will<br>
be paying through the nose.  This is not a viable option unless there is<br>
a major pricing shift.<br>
<br>
Cheers.<br>
<div class="im"><br>
<br>
On 01/27/2010 07:08 AM, Jonathan Aquilina wrote:<br>
> gavin you mentioned costs, those are only incurred with xen if you need<br>
> the extra features such as server migration and other features. also if<br>
> you dont need those extra features couldnt you just live with the free<br>
> version of xen.<br>
><br>
> On Wed, Jan 27, 2010 at 11:42 AM, Geoff Galitz <<a href="mailto:geoff@galitz.org">geoff@galitz.org</a><br>
</div><div class="im">> <mailto:<a href="mailto:geoff@galitz.org">geoff@galitz.org</a>>> wrote:<br>
><br>
><br>
><br>
>     I've had the good fortune to be in the HPC and also HA business for<br>
>     a few<br>
>     years (10 years for HPC but only about 4 for HA).  Given the current<br>
>     approach for virtualization I don't see that Xen or other virtualization<br>
>     technologies are good for HPC environments if the performance is a<br>
>     paramount<br>
>     concern.<br>
><br>
>     Virtualization in an HPC/HA world is mostly beneficial for<br>
>     portability and<br>
>     fail-over.  But the added layer for a hypervisor will be significant<br>
>     if your<br>
>     jobs run for an extended period of time.  I've seen jobs that run for<br>
>     months...  a 7% performance penalty (fairly typical in my<br>
>     experience) over<br>
>     the course of a month is significant.<br>
><br>
><br>
><br>
>     ---------------------------------<br>
>     Geoff Galitz<br>
>     Blankenheim NRW, Germany<br>
>     <a href="http://www.galitz.org/" target="_blank">http://www.galitz.org/</a><br>
>     <a href="http://german-way.com/blog/" target="_blank">http://german-way.com/blog/</a><br>
><br>
><br>
><br>
>     _______________________________________________<br>
>     Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org">Beowulf@beowulf.org</a><br>
</div>>     <mailto:<a href="mailto:Beowulf@beowulf.org">Beowulf@beowulf.org</a>> sponsored by Penguin Computing<br>
<div><div></div><div class="h5">>     To change your subscription (digest mode or unsubscribe) visit<br>
>     <a href="http://www.beowulf.org/mailman/listinfo/beowulf" target="_blank">http://www.beowulf.org/mailman/listinfo/beowulf</a><br>
><br>
><br>
><br>
><br>
> --<br>
> Jonathan Aquilina<br>
><br>
><br>
><br>
> _______________________________________________<br>
> Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
> To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf" target="_blank">http://www.beowulf.org/mailman/listinfo/beowulf</a><br>
</div></div></blockquote></div><br><br clear="all"><br>-- <br>Jonathan Aquilina<br>