<div dir="ltr">Hi Jim,<div><br></div><div>There is a group at JPL doing Kubernetes.  It might be interesting to ask them if you can execute Jobs on their clusters. </div><div><br></div><div>Cheers,</div><div><br></div><div>Andrew</div><div><div class="gmail_extra"><br><div class="gmail_quote">On 27 July 2018 at 20:47, Lux, Jim (337K) <span dir="ltr"><<a href="mailto:james.p.lux@jpl.nasa.gov" target="_blank">james.p.lux@jpl.nasa.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">





<div lang="EN-US" link="#0563C1" vlink="#954F72">
<div class="m_2058113245910110376WordSection1">
<p class="MsoNormal">I’ve just started using Jupyter to organize my Pythonic ramblings..<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">What would be kind of cool is to have a high level way to do some embarrassingly parallel python stuff, and I’m sure it’s been done, but my google skills appear to be lacking (for all I know there’s someone at JPL who is doing this, among
 the 6000 people doing stuff here).<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">What I’m thinking is this:<u></u><u></u></p>
<p class="MsoNormal">I have a high level python script that iterates through a set of data values for some model parameter, and farms out running the model to nodes on a cluster, but then gathers the results back.
<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">So, I’d have N copies of the python model script on the nodes. 
<u></u><u></u></p>
<p class="MsoNormal">Almost like a pythonic version of pdsh.<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">Yeah, I’m sure I could use lots of subprocess() and execute() stuff (heck, I could shell pdsh), but like with all things python, someone has probably already done it before and has all the nice hooks into the Ipython kernel.<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">James Lux<u></u><u></u></p>
<p class="MsoNormal">Task Manager, DARPA High Frequency Research (DHFR) Space Testbed<u></u><u></u></p>
<p class="MsoNormal">Jet Propulsion Laboratory  (Mail Stop 161-213)<u></u><u></u></p>
<p class="MsoNormal">4800 Oak Grove Drive<u></u><u></u></p>
<p class="MsoNormal">Pasadena CA 91109<u></u><u></u></p>
<p class="MsoNormal">(818)354-2075 (office)<u></u><u></u></p>
<p class="MsoNormal">(818)395-2714 (cell)<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
</div>

<br>______________________________<wbr>_________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf" rel="noreferrer" target="_blank">http://www.beowulf.org/<wbr>mailman/listinfo/beowulf</a><br>
<br></blockquote></div><br></div></div></div>