<div dir="ltr"><div id="gmail-:4e5" class="gmail-a3s gmail-aXjCH" tabindex="-1" style="font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;line-height:1.5;overflow:hidden;outline:none">> * - note the HPC isn't unique in this regard.  The Linux distributions<br>> are facing their own version of this, where much of the software is no<br>> longer packagable in the traditional sense as it instead relies on<br>> language specific packaging systems and languages that don't lend<br>> themselves to the older rpm/deb style system.</div><div id="gmail-:4e5" class="gmail-a3s gmail-aXjCH" tabindex="-1" style="font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;line-height:1.5;overflow:hidden;outline:none"><br></div><div id="gmail-:4e5" class="gmail-a3s gmail-aXjCH" tabindex="-1" style="font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;line-height:1.5;overflow:hidden;outline:none">Gerald, very well said. The term in the UK At the moment would be 'friction'. On-premise HPC has to be frictionless as cloud HPC.</div><div id="gmail-:4e5" class="gmail-a3s gmail-aXjCH" tabindex="-1" style="font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;line-height:1.5;overflow:hidden;outline:none"><br></div><div id="gmail-:4e5" class="gmail-a3s gmail-aXjCH" tabindex="-1" style="font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;line-height:1.5;overflow:hidden;outline:none"> Note that I referred to Julia, which has a packaging system.</div><div id="gmail-:4e5" class="gmail-a3s gmail-aXjCH" tabindex="-1" style="font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;line-height:1.5;overflow:hidden;outline:none">The Julia community has given a lot of thought to the packaging system for 1.0 and it has concepts such as environments different projects.</div><div id="gmail-:4e5" class="gmail-a3s gmail-aXjCH" tabindex="-1" style="font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;line-height:1.5;overflow:hidden;outline:none"><br></div><div id="gmail-:4e5" class="gmail-a3s gmail-aXjCH" tabindex="-1" style="font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;line-height:1.5;overflow:hidden;outline:none">I hate to single out Python, but have experience of users using Anaconda which means a huge variation in what everyone has.</div><div id="gmail-:4e5" class="gmail-a3s gmail-aXjCH" tabindex="-1" style="font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;line-height:1.5;overflow:hidden;outline:none">And more importantly for HPC systems the packages are placed in the users home directory (by default).</div><div id="gmail-:4e5" class="gmail-a3s gmail-aXjCH" tabindex="-1" style="font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;line-height:1.5;overflow:hidden;outline:none">On the system I am thinking about there was very limited space on /home and it was an NFS mount. MEaning any parallel program startup would</div><div id="gmail-:4e5" class="gmail-a3s gmail-aXjCH" tabindex="-1" style="font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;line-height:1.5;overflow:hidden;outline:none">pull lots of data from NFS.</div></div><br><div class="gmail_quote"><div dir="ltr">On Wed, 28 Nov 2018 at 01:42, Gerald Henriksen <<a href="mailto:ghenriks@gmail.com">ghenriks@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">On Tue, 27 Nov 2018 07:51:06 -0500, you wrote:<br>
<br>
>On Mon, Nov 26, 2018 at 9:50 PM Gerald Henriksen <<a href="mailto:ghenriks@gmail.com" target="_blank">ghenriks@gmail.com</a>> wrote:<br>
>> On Mon, 26 Nov 2018 16:26:42 +0100, you wrote:<br>
>> If on premise HPC doesn't change to reflect the way the software is<br>
>> developed today then the users will in the future prefer cloud HPC.<br>
>><br>
>> I guess it is a brave new world for on premise HPC as far as that the<br>
>> users now, and likely more in the future, will have alternatives thus<br>
>> forcing the on premise HPC to "compete" in order to survive.<br>
><br>
>this seems a bit too stringent of a statement for me.  i don't dismiss<br>
>or disagree with your premise, but i don't entirely agree that HPC<br>
>"must" change in order to compete.  We've all heard this kind of stuff<br>
>in the past if x doesn't change y will take over the world!<br>
<br>
HPC, like most things, exists to get something done.<br>
<br>
If HPC doesn't change to reflect the changes in society and the way<br>
the software is developed (*) then the users will look for more modern<br>
ways to replace traditional HPC.  As noted the software is no longer<br>
developed on workstations that are connected to the lab/company<br>
network but rather on laptops that stay with the user wherever they<br>
go.<br>
<br>
This in turn is at least in part what has driven to the rise of<br>
distributed version control, git in particular.<br>
<br>
If HPC doesn't make it easy for these users to transfer their workflow<br>
to the cluster, and the cloud providers do, then the users will move<br>
to using the cloud even if it costs them 10%, 20% more because at the<br>
end of the day it is about getting the job done and not about spending<br>
time to work to antiquated methods of putting jobs in a cluster.<br>
<br>
And of course if the users would rather spend their department budgets<br>
with Amazon, Azure, Google, or others then the next upgrade cycle<br>
their won't be any money for the in house cluster...<br>
<br>
<br>
* - note the HPC isn't unique in this regard.  The Linux distributions<br>
are facing their own version of this, where much of the software is no<br>
longer packagable in the traditional sense as it instead relies on<br>
language specific packaging systems and languages that don't lend<br>
themselves to the older rpm/deb style system.<br>
_______________________________________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf" rel="noreferrer" target="_blank">http://www.beowulf.org/mailman/listinfo/beowulf</a><br>
</blockquote></div>