<div dir="ltr">Hi Jonathan,<div><br></div><div>You need a "cluster" if your task is too large to run on a single system, or maybe if it takes too long to run on a single system.</div><div><br></div><div>So the primary motivation is practical, not theoretical.</div><div><br></div><div>If you can run your task on just one computer, you should always do that rather than having to build a cluster of some kind and all the associated headaches.</div><div><br></div><div>One aspect of your question seems to be about performance, which is ultimately limited by the hardware resources.  E.g. a "hadoop cluster" might be 10 servers each with lots of CPUs and RAM and disks, etc.  For "hadoop" workloads, typically the bottleneck is I/O so the primary parameter is the number of disks.  So the programming language is not really an issue if you're spending all your time waiting on disk I/O.</div><div><br></div><div>Regards,</div><div>Alex</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Nov 24, 2020 at 10:22 AM Jonathan Aquilina via Beowulf <<a href="mailto:beowulf@beowulf.org">beowulf@beowulf.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi Doug,<br>
<br>
So what is the advantage then of a cluster?<br>
<br>
Regards,<br>
Jonathan<br>
<br>
-----Original Message-----<br>
From: Douglas Eadline <<a href="mailto:deadline@eadline.org" target="_blank">deadline@eadline.org</a>> <br>
Sent: 24 November 2020 18:21<br>
To: Jonathan Aquilina <<a href="mailto:jaquilina@eagleeyet.net" target="_blank">jaquilina@eagleeyet.net</a>><br>
Cc: <a href="mailto:beowulf@beowulf.org" target="_blank">beowulf@beowulf.org</a><br>
Subject: RE: [Beowulf] Clustering vs Hadoop/spark<br>
<br>
<br>
First I am not a Java expert (very far from it).<br>
<br>
Second, Java holds up quite well against Julia as compared to Python. (so does Lisp!)<br>
<br>
  <a href="https://benchmarksgame-team.pages.debian.net/benchmarksgame/fastest/julia.html" rel="noreferrer" target="_blank">https://benchmarksgame-team.pages.debian.net/benchmarksgame/fastest/julia.html</a><br>
<br>
Some other tings to consider is the underlying Hadoop plumbing is written in Java (or Scala for Spark).<br>
However, it is possible with Hadoop to<br>
create mapper and reducing functions in any language (text based std in/out) Similar to Spark, that can use Python, R, Java, or Scala as a front-end.<br>
<br>
So there is a bit of decoupling of parallel compute mechanism and compute code. (I.e. in all these languages the user does think about cores, interconnect, communications, etc) A higher level abstraction.<br>
<br>
Much of the early Hadoop performance was based on running large capability jobs on gobs of data.<br>
Jobs that could not be run otherwise (except for Google) So any performance was good. Spark come along and says, lets put it all in a redundant distributed memory structure.<br>
Speed up is much faster then traditional Hadoop, so Hadoop creates Tez API that does the same thing.<br>
Performance even out.<br>
<br>
Plus analytics jobs are mostly integer. The floating point often comes into play when running the models, which is often not a big data problem (i.e. don't need a big cluster to run)<br>
<br>
--<br>
Doug<br>
<br>
> Hi Doug,<br>
><br>
> Appreciate the clarification where I am not clear is given Hadoop and <br>
> derivatives are java based where all of this performance all of a <br>
> sudden comes from. Is it due to where the data resides?<br>
><br>
> At one of my previous jobs I worked with Hadoop through Amazon AWS EMR <br>
> managed to churn through 5 years' worth of historical data in 1 week. <br>
> Data being calculations on vehicular tracking data.<br>
><br>
> When I learned java as part of my degree I used to see it as clunky <br>
> why go for an interpreted language such as java over something more <br>
> low level like c/c++ on a traditional cluster?<br>
><br>
> Regards,<br>
> Jonathan<br>
><br>
> -----Original Message-----<br>
> From: Douglas Eadline <<a href="mailto:deadline@eadline.org" target="_blank">deadline@eadline.org</a>><br>
> Sent: 24 November 2020 17:38<br>
> To: Jonathan Aquilina <<a href="mailto:jaquilina@eagleeyet.net" target="_blank">jaquilina@eagleeyet.net</a>><br>
> Cc: <a href="mailto:beowulf@beowulf.org" target="_blank">beowulf@beowulf.org</a><br>
> Subject: Re: [Beowulf] Clustering vs Hadoop/spark<br>
><br>
><br>
>> Hi Guys,<br>
>><br>
>> I am just wondering what advantages does setting up of a cluster have <br>
>> in relation to big data analytics vs using something like Hadoop/spark?<br>
>><br>
><br>
> Long email and the details are important.<br>
><br>
> It all comes down to filesystems and schedulers. But first remember, <br>
> most Data Analytics projects use many different tools and have various <br>
> stages that often require iteration and development (e.g. ETL->Feature<br>
> Matrix->and running models, repeat, and 80% of the work in in first <br>
> Matrix->two<br>
> steps) And, many end-users do not use Java map-reduce APIs. They use <br>
> higher level tools.<br>
><br>
> Filesystems:<br>
><br>
> 1) Traditional Hadoop filesystem (HDFS) is about slicing large data <br>
> files (or large number of files) across multiple servers, then doing <br>
> the map phase on all servers at the same time (moving computation to <br>
> where the data "live", reduce phase requires a shuffle (data movement) <br>
> and final reduction of data.<br>
><br>
> 2) On-prem HDFS still makes some sense (longer story) however, in the <br>
> Cloud there is move to using native cloud storage using Apache Ozone FS.<br>
> You loose the "data locality," but gain all the cloud Kubernettes stuff.<br>
><br>
> 3) Both Hadoop Map-Reduce (mostly Hive RDB applications now) and Spark <br>
> do "in-memory" map-reduce for performance reasons.<br>
> In this case, data locality for processing is not as important, <br>
> However, loading and storing files on large multi-server memory <br>
> resident jobs still gains from HDFS. Very often Spark writes/reads results into Hive tables.<br>
><br>
> Schedulers:<br>
><br>
> 1) Map Reduce scheduling is different than traditional HPC scheduling.<br>
> The primary Hadoop scheduler is called YARN (Yet Another Resource<br>
> Negotiator) It has two main features not found in most HPC schedulers, <br>
> data locality as a resource and dynamic resource allocation.<br>
><br>
> 2) Data locality is about moving jobs to where the data (slice) lives <br>
> on the storage nodes (hyper-converged storage/compute nodes)<br>
><br>
> 3) Dynamic resource allocation developed because most map-reduce jobs <br>
> need a lot of containers for map phase, but much-much less for reduce <br>
> phase, so Hadoop map-reduce can give back resources and ask for more <br>
> later in other stages of the DAG (multiple map reduce phases are run <br>
> as a Directed Acyclic Graph)<br>
><br>
> Thus, this model is hard to map on to a traditional HPC cluster.<br>
> There are map-reduce libraries for MPI. Another way to think about it <br>
> is Data Analytics is almost always SIMD, all tools language and <br>
> platforms are optimized to take advantage of map-reduce SIMD operations and data flow.<br>
><br>
><br>
> --<br>
> Doug<br>
><br>
><br>
><br>
>><br>
>> Regards,<br>
>> Jonathan<br>
>> _______________________________________________<br>
>> Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin <br>
>> Computing To change your subscription (digest mode or unsubscribe) <br>
>> visit <a href="https://beowulf.org/cgi-bin/mailman/listinfo/beowulf" rel="noreferrer" target="_blank">https://beowulf.org/cgi-bin/mailman/listinfo/beowulf</a><br>
>><br>
><br>
><br>
> --<br>
> Doug<br>
><br>
<br>
<br>
--<br>
Doug<br>
<br>
_______________________________________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="https://beowulf.org/cgi-bin/mailman/listinfo/beowulf" rel="noreferrer" target="_blank">https://beowulf.org/cgi-bin/mailman/listinfo/beowulf</a><br>
</blockquote></div>