<div dir="ltr">We have been building out a cluster based on commodity servers (mainly Gigabyte motherboards) with 8x1080ti/2080ti per server. <div><br></div><div>We are using a combination of OpenHPC compiled tools and Ansible. I would recommend using the OpenHPC software so you don't have to deal with figuring out what versions of the tools you need to get and manually building them, but I would not go down their prescribed way for building a cluster with base images and all for a small heterogeneous cluster. I would just build the machines as consistently as they can and then use the OpenHPC versions of programs where needed and augment the management with something like ansible or even pdsh.</div><div><br></div><div>Also unless you're really just doing this an exercise to kill time on weekends, or you literally have no money and can get free power/cooling, I would really consider looking at what other more modern hardware is available, or at least benchmark your system against a sample cloud system if you really want to learn GPU computing.</div><div><br></div><div>Thanks,</div><div><br>Sander</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Aug 21, 2019 at 1:56 AM Richard Edwards <<a href="mailto:ejb@fastmail.fm">ejb@fastmail.fm</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="overflow-wrap: break-word;">Hi John<div><br></div><div>No doom and gloom. </div><div><br></div><div>It's in a purpose built workshop/computer room that I have; 42U Rack, cross draft cooling which is sufficient and 32AMP Power into the PDU’s. The equipment is housed in the 42U Rack along with a variety of other machines such as Sun Enterprise 4000 and a 30 CPU Transputer Cluster. None of it runs 24/7 and not all of it is on at the same time, mainly because of the cost of power :-/</div><div><br></div><div>Yeah the Tesla 1070’s scream like a banshee…..</div><div><br></div><div>I am planning on running it as power on, on demand setup, which I already do through some HP iLo and APC PDU Scripts that I have for these machines. Until recently I have been running some of them as a vSphere cluster and others as standalone CUDA machines.</div><div><br></div><div>So that’s one vote for OpenHPC.</div><div><br></div><div>Cheers</div><div><br></div><div>Richard<br><div><br><blockquote type="cite"><div>On 21 Aug 2019, at 3:45 pm, John Hearns via Beowulf <<a href="mailto:beowulf@beowulf.org" target="_blank">beowulf@beowulf.org</a>> wrote:</div><br class="gmail-m_-4383813359335246296Apple-interchange-newline"><div><div dir="ltr">Add up the power consumption for each of those servers. If you plan on installing this in a domestic house or indeed in a normal office environment you probably wont have enough amperage in the circuit you intend to power it from.<div>Sorry to be all doom and gloom.</div><div>Also this setup will make a great deal of noise. If in a domestic setting put it in the garage.</div><div>In an office setting the obvious place is a comms room but be careful about the ventilation.</div><div>Office comms rooms often have a single wall mounted air conditioning unit. Make SURE to run a temperature shutdown script.</div><div>This air con unit WILL fail over a weekend.</div><div><br></div><div>Regarding the software stack I would look at OpenHPC. But that's just me.</div><div><br></div><div><br></div><div><br><div><br></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, 21 Aug 2019 at 06:09, Dmitri Chubarov <<a href="mailto:dmitri.chubarov@gmail.com" target="_blank">dmitri.chubarov@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><div>Hi,<br></div>this is a very old hardware and you would have to stay with a very outdated software stack as 1070 cards are not supported by the recent versions of NVIDIA Drivers and old versions of NVIDIA drivers do not play well with modern kernels and modern system libraries.Unless you are doing this for digital preservation, consider dropping 1070s out of the equation.</div><div><br></div><div>Dmitri<br></div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, 21 Aug 2019 at 06:46, Richard Edwards <<a href="mailto:ejb@fastmail.fm" target="_blank">ejb@fastmail.fm</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi Folks<br>
<br>
So about to build a new personal GPU enabled cluster and am looking for peoples thoughts on distribution and management tools.<br>
<br>
Hardware that I have available for the build<br>
- HP Proliant DL380/360 - mix of G5/G6<br>
- HP Proliant SL6500 with 8 GPU<br>
- HP Proliant DL580 - G7 + 2x K20x GPU<br>
-3x Nvidia Tesla 1070 (4 GPU per unit)<br>
<br>
Appreciate people insights/thoughts<br>
<br>
Regards<br>
<br>
Richard<br>
_______________________________________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="https://beowulf.org/cgi-bin/mailman/listinfo/beowulf" rel="noreferrer" target="_blank">https://beowulf.org/cgi-bin/mailman/listinfo/beowulf</a><br>
</blockquote></div>
_______________________________________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="https://beowulf.org/cgi-bin/mailman/listinfo/beowulf" rel="noreferrer" target="_blank">https://beowulf.org/cgi-bin/mailman/listinfo/beowulf</a><br>
</blockquote></div>
_______________________________________________<br>Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>To change your subscription (digest mode or unsubscribe) visit <a href="https://beowulf.org/cgi-bin/mailman/listinfo/beowulf" target="_blank">https://beowulf.org/cgi-bin/mailman/listinfo/beowulf</a><br></div></blockquote></div><br></div></div>_______________________________________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="https://beowulf.org/cgi-bin/mailman/listinfo/beowulf" rel="noreferrer" target="_blank">https://beowulf.org/cgi-bin/mailman/listinfo/beowulf</a><br>
</blockquote></div>