<div dir="ltr"><div><font face="Arial, Tahoma, Helvetica, FreeSans, sans-serif"><span style="line-height:18.479999542236328px">Important paragraph:</span></font></div><div><font face="Arial, Tahoma, Helvetica, FreeSans, sans-serif"><span style="line-height:18.479999542236328px"><br>
</span></font></div><div><font face="Arial, Tahoma, Helvetica, FreeSans, sans-serif"><span style="line-height:18.479999542236328px">"Some larger players in the HPC arena have begun to provide rich support for high-performance parallel file systems as a complete alternative to HDFS.  IBM's GPFS file system has a file placement optimization (FPO) capability that allows GPFS to act as a drop-in replacement for HDFS, and Intel was selling native Lustre support before they sold IDH to Cloudera."</span><br>
</font></div><div><font face="Arial, Tahoma, Helvetica, FreeSans, sans-serif"><span style="line-height:18.479999542236328px"><br></span></font></div><div><font face="Arial, Tahoma, Helvetica, FreeSans, sans-serif"><span style="line-height:18.479999542236328px">And Intel still are but are bundling their Lustre <-> Hadoop connector with their commercially supported Lustre product "IEEL". It's not OSS however. They support Cloudera (obviously as they just sunk $740m) and Apache Hadoop. </span></font><font face="Arial, Tahoma, Helvetica, FreeSans, sans-serif"><span style="line-height:18.479999542236328px">There is also support for SLURM as a scheduler however I don't have a nice link. </span></font><span style="font-family:Arial,Tahoma,Helvetica,FreeSans,sans-serif;line-height:18.479999542236328px">These bits should mean that Hadoop can play nicely as a "normal" HPC application.</span></div>
<div><font face="Arial, Tahoma, Helvetica, FreeSans, sans-serif"><span style="line-height:18.479999542236328px"><br></span></font></div><div><font face="Arial, Tahoma, Helvetica, FreeSans, sans-serif"><span style="line-height:18.479999542236328px"><br>
</span></font></div><div><font face="Arial, Tahoma, Helvetica, FreeSans, sans-serif"><span style="line-height:18.479999542236328px"><br></span></font></div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On 17 May 2014 22:46, Kilian Cavalotti <span dir="ltr"><<a href="mailto:kilian.cavalotti.work@gmail.com" target="_blank">kilian.cavalotti.work@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Great write-up by Glenn  Lockwood about the state of Hadoop in HPC. It<br>
pretty much nails it, and offers an nice overview of the current<br>
ongoing efforts to make it relevant in that field.<br>
<br>
<a href="http://glennklockwood.blogspot.com/2014/05/hadoops-uncomfortable-fit-in-hpc.html" target="_blank">http://glennklockwood.blogspot.com/2014/05/hadoops-uncomfortable-fit-in-hpc.html</a><br>
<br>
Most spot on thing I've read in a while. Thanks Glenn.<br>
Cheers,<br>
<span class="HOEnZb"><font color="#888888">--<br>
Kilian<br>
_______________________________________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf" target="_blank">http://www.beowulf.org/mailman/listinfo/beowulf</a><br>
</font></span></blockquote></div><br></div>