<div dir="auto">AWS has a host of free tier sercives you should blend together. Elastic Beanstalk and Lambda (AWS proprietary lambda) can move lots of data below a cost level.<div dir="auto">Your volume will automatically cause billing obviously. I have a friend at AWS. Maybe something new is going on, I can check up with him.</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Jul 29, 2019, 11:24 AM Douglas Eadline <<a href="mailto:deadline@eadline.org">deadline@eadline.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><br>
> What would be the reason for getting such large data sets back on premise?<br>
> Why not leave them in the cloud for example in an S3 bucket on amazon or<br>
> google data store.<br>
<br>
I think this touches on the ownership issue I have seen some<br>
people mention (I think Addison Snell or i360). That is, you own<br>
the data but not the infrastructure.<br>
<br>
To use the "data lake" analogy, you start<br>
out creating a swimming pool in the cloud. You own<br>
the water, but it is in someone else's pool. Manageable.<br>
At some point your little pool becomes a big lake. Moving the lake,<br>
for any number of reasons, become a really big issue and possibly<br>
unmanageable.<br>
<br>
"For any number of reasons" can be cost, performance, access,<br>
etc. and the issues you never imagined (a black swan as it were)<br>
<br>
Just like everything else, it all depends ... (and how risk adverse<br>
you are).<br>
<br>
--<br>
Doug<br>
<br>
<br>
<br>
><br>
> Regards,<br>
> Jonathan<br>
><br>
> -----Original Message-----<br>
> From: Beowulf <<a href="mailto:beowulf-bounces@beowulf.org" target="_blank" rel="noreferrer">beowulf-bounces@beowulf.org</a>> On Behalf Of Chris Samuel<br>
> Sent: Sunday, 28 July 2019 03:36<br>
> To: <a href="mailto:beowulf@beowulf.org" target="_blank" rel="noreferrer">beowulf@beowulf.org</a><br>
> Subject: Re: [Beowulf] Lustre on google cloud<br>
><br>
> On Friday, 26 July 2019 4:46:56 AM PDT John Hearns via Beowulf wrote:<br>
><br>
>> Terabyte scale data movement into or out of the cloud is not scary in<br>
>> 2019.<br>
>> You can move data into and out of the cloud at basically the line rate<br>
>> of your internet connection as long as you take a little care in<br>
>> selecting and tuning your firewalls and inline security devices.<br>
>> Pushing  1TB/day etc.<br>
>> into the cloud these days is no big deal and that level of volume is<br>
>> now normal for a ton of different markets and industries.<br>
><br>
> Whilst this is true as Chris points out this does not mean that there<br>
> won't be data transport costs imposed by the cloud provider (usually for<br>
> egress).<br>
><br>
> All the best,<br>
> Chris<br>
> --<br>
>   Chris Samuel  :  <a href="http://www.csamuel.org/" rel="noreferrer noreferrer" target="_blank">http://www.csamuel.org/</a>  :  Berkeley, CA, USA<br>
><br>
><br>
><br>
> _______________________________________________<br>
> Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank" rel="noreferrer">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
> To change your subscription (digest mode or unsubscribe) visit<br>
> <a href="https://beowulf.org/cgi-bin/mailman/listinfo/beowulf" rel="noreferrer noreferrer" target="_blank">https://beowulf.org/cgi-bin/mailman/listinfo/beowulf</a><br>
> _______________________________________________<br>
> Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank" rel="noreferrer">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
> To change your subscription (digest mode or unsubscribe) visit<br>
> <a href="https://beowulf.org/cgi-bin/mailman/listinfo/beowulf" rel="noreferrer noreferrer" target="_blank">https://beowulf.org/cgi-bin/mailman/listinfo/beowulf</a><br>
><br>
<br>
<br>
-- <br>
Doug<br>
<br>
_______________________________________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank" rel="noreferrer">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="https://beowulf.org/cgi-bin/mailman/listinfo/beowulf" rel="noreferrer noreferrer" target="_blank">https://beowulf.org/cgi-bin/mailman/listinfo/beowulf</a><br>
</blockquote></div>