<p dir="ltr">I just deployed our first CentOS 7.3 cluster which will be the template for upgrading our current CentOS 6.8 cluster. We use warewulf and boot nodes statelessly from a single master image and the hurdles we've had to deal with so far are:</p>
<p dir="ltr">1. No concept of "last" in systemd. Our configuration of the nodes gets started by rc.local in CentOS 6 and to mimic that in CentOS 7 we had to make a service that was dependent on a lot of things, then have it sleep for  a minute or two before running. I fail to see why systemd can't be made to understand "last" but *shrug*.</p>
<p dir="ltr">2. IB is now a load once and never unload thing. Previously we had our configuration tool load IB dynamically so we could switch ofed without rebooting. That becomes a little more complicated now but not a show stopper.</p>
<p dir="ltr">3. rsyslog.conf needs some additional configuration to get all messages forwarded to central syslog. I can't get to those from my phone but can add later if you are interested.</p>
<p dir="ltr">4. The upgrade from 7.2 to 7.3 was a pretty big jump, maybe extra for us because it coincided with some zfs changes which threw me for a moment. I'd suggest starting with 7.3 if you don't have much invested in prior versions yet.</p>
<p dir="ltr">5. As a rule we disable firewalld and install the old iptables service and replace networkmanager with the old network stuff. I wish all Linux distros would understand we don't run clusters of phones and laptops, but I think I lost that argument a long time ago.</p>
<p dir="ltr">In hindsight it wasn't near as scary as it seemed to be. One bonus which I hope to explore in the future is that a simple chroot with a few lines in an init can pxe boot statelessly and systemd just generally does the Right Thing(tm). This was a pleasant surprise and may end up with us writing our own very simple provisioning tool around ipxe (dependent on Warewulf 4 direction/progress).</p>
<p dir="ltr">We've been using our CentOS 6 software stack in about 3 dozen heavily used CentOS 7 workstations for about a year and have found very few and very minor issues. </p>
<p dir="ltr">My advice would be to dive in. The sooner you do the sooner your brief window of no-glibc-version problems starts :)</p>
<p dir="ltr">jbh</p>
<br><div class="gmail_quote"><div dir="ltr">On Fri, Dec 30, 2016, 9:29 AM Andrew Mather <<a href="mailto:mathera@gmail.com">mathera@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr" class="gmail_msg"><div class="gmail_msg">Thanks for this Lachlan and thanks for the reminder....</div><div class="gmail_msg"><br class="gmail_msg"></div>Sorry, should also have mentioned, we use NFS for /usr/local, for /home and for our shared data area /group.  Our scratch is local and in most cases, jobs copy their datasets across before starting.  The time cost of that operation is really just a rounding error in the job runtimes in most cases.<div class="gmail_msg"><br class="gmail_msg"></div><div class="gmail_msg">Cluster uses Torque/Moab for queue/resource management and scheduling.</div></div><div dir="ltr" class="gmail_msg"><div class="gmail_msg"><br class="gmail_msg"></div><div class="gmail_msg">Andrew</div></div><div class="gmail_extra gmail_msg"><br class="gmail_msg"><div class="gmail_quote gmail_msg">On Fri, Dec 30, 2016 at 5:17 PM, Lachlan Musicman <span dir="ltr" class="gmail_msg"><<a href="mailto:datakid@gmail.com" class="gmail_msg" target="_blank">datakid@gmail.com</a>></span> wrote:<br class="gmail_msg"><blockquote class="gmail_quote gmail_msg" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr" class="gmail_msg"><div class="gmail_msg"><div class="gmail_msg">We use Centos 7.2 exclusively in our cluster (SLURM, 12 Nodes going up to 40 in the new year) and it works a treat. Same set up as you, but with some shared NFS mounts. Systemd is fine - a few more keystrokes, but not the end of the world.<br class="gmail_msg"><br class="gmail_msg"></div><div class="gmail_msg">Very happy<br class="gmail_msg"></div><div class="gmail_msg"><br class="gmail_msg"></div>cheers<br class="gmail_msg"></div>L.<br class="gmail_msg"></div><div class="gmail_extra gmail_msg"><br clear="all" class="gmail_msg"><div class="gmail_msg"><div class="m_-2181116780691477938m_3938235105362160622gmail_signature gmail_msg" data-smartmail="gmail_signature"><div dir="ltr" class="gmail_msg"><div class="gmail_msg">------<br class="gmail_msg">The most dangerous phrase in the language is, "We've always done it this way."<br class="gmail_msg"><br class="gmail_msg">- Grace Hopper<br class="gmail_msg"></div></div></div></div>
<br class="gmail_msg"><div class="gmail_quote gmail_msg"><div class="gmail_msg"><div class="m_-2181116780691477938h5 gmail_msg">On 30 December 2016 at 17:12, Andrew Mather <span dir="ltr" class="gmail_msg"><<a href="mailto:mathera@gmail.com" class="gmail_msg" target="_blank">mathera@gmail.com</a>></span> wrote:<br class="gmail_msg"></div></div><blockquote class="gmail_quote gmail_msg" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="gmail_msg"><div class="m_-2181116780691477938h5 gmail_msg"><div dir="ltr" class="gmail_msg">Hi All,<div class="gmail_msg"><br class="gmail_msg"></div><div class="gmail_msg">Hope you're having/had time to relax and unwind with those near and dear.</div><div class="gmail_msg"><br class="gmail_msg"></div><div class="gmail_msg">We are in the very early planning stages for our next cluster and I'm currently looking at the OS.  We're a CentOS shop and planning to stay that way for the forseeable future, so please, no partisan OS wars :)</div><div class="gmail_msg"><br class="gmail_msg"></div><div class="gmail_msg">When v7 of the Redhat-based OS' appeared, the change to systemd in particular, seemed to attract a lot of hate, but since it's been out a while, there doesn't seem to be as much.</div><div class="gmail_msg"><br class="gmail_msg"></div><div class="gmail_msg">So, has anyone got recent war-stories, good experiences etc to share about v7 of CentOS specifically as the OS for cluster nodes.</div><div class="gmail_msg"><br class="gmail_msg"></div><div class="gmail_msg">We don't have infiniband interconnects and don't use MPI, shared memory and the like.  All our jobs stay within the confines of the nodes and we have a variety of hardware configurations to accommodate different types of job (RAM, disk requirements etc)</div><div class="gmail_msg"><br class="gmail_msg"></div><div class="gmail_msg">I'd welcome any info.</div><div class="gmail_msg"><br class="gmail_msg"></div><div class="gmail_msg">Thanks and hope 2017 is kind for you.</div><span class="m_-2181116780691477938m_3938235105362160622HOEnZb gmail_msg"><font color="#888888" class="gmail_msg"><div class="gmail_msg"><br class="gmail_msg"></div><div class="gmail_msg">Andrew</div><div class="gmail_msg"><br clear="all" class="gmail_msg"><div class="gmail_msg"><br class="gmail_msg"></div>-- <br class="gmail_msg"><div class="m_-2181116780691477938m_3938235105362160622m_-7009050404521464847gmail_signature gmail_msg" data-smartmail="gmail_signature"><div dir="ltr" class="gmail_msg"><div class="gmail_msg"><div dir="ltr" class="gmail_msg"><div class="gmail_msg">-<br class="gmail_msg"> <a href="https://picasaweb.google.com/107747436224613508618" class="gmail_msg" target="_blank">https://picasaweb.google.com/107747436224613508618</a><br class="gmail_msg">-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-<br class="gmail_msg">"Voting is a lot like going to Bunnings really:</div><div class="gmail_msg">You walk in confused, you stand in line, you have a sausage on the way out <span style="font-size:12.8px" class="gmail_msg">and at the end, you wind up with a bunch of useless tools"</span></div><div class="gmail_msg">Joe Rios</div><div class="gmail_msg">-</div></div></div></div></div>
</div></font></span></div>
<br class="gmail_msg"></div></div>_______________________________________________<br class="gmail_msg">
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" class="gmail_msg" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br class="gmail_msg">
To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf" rel="noreferrer" class="gmail_msg" target="_blank">http://www.beowulf.org/mailman/listinfo/beowulf</a><br class="gmail_msg">
<br class="gmail_msg"></blockquote></div><br class="gmail_msg"></div>
</blockquote></div><br class="gmail_msg"><br clear="all" class="gmail_msg"><div class="gmail_msg"><br class="gmail_msg"></div>-- <br class="gmail_msg"><div class="m_-2181116780691477938gmail_signature gmail_msg" data-smartmail="gmail_signature"><div dir="ltr" class="gmail_msg"><div class="gmail_msg"><div dir="ltr" class="gmail_msg"><div class="gmail_msg">-<br class="gmail_msg"> <a href="https://picasaweb.google.com/107747436224613508618" class="gmail_msg" target="_blank">https://picasaweb.google.com/107747436224613508618</a><br class="gmail_msg">-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-<br class="gmail_msg">"Voting is a lot like going to Bunnings really:</div><div class="gmail_msg">You walk in confused, you stand in line, you have a sausage on the way out <span style="font-size:12.8px" class="gmail_msg">and at the end, you wind up with a bunch of useless tools"</span></div><div class="gmail_msg">Joe Rios</div><div class="gmail_msg">-</div></div></div></div></div>
</div>
_______________________________________________<br class="gmail_msg">
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" class="gmail_msg" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br class="gmail_msg">
To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf" rel="noreferrer" class="gmail_msg" target="_blank">http://www.beowulf.org/mailman/listinfo/beowulf</a><br class="gmail_msg">
</blockquote></div><div dir="ltr">-- <br></div><div data-smartmail="gmail_signature"><div dir="ltr"><div>‘[A] talent for following the ways of yesterday, is not sufficient to improve the world of today.’</div><div> - King Wu-Ling, ruler of the Zhao state in northern China, 307 BC</div></div></div>