<div dir="ltr"><div>Skylar Thomson wrote:<br> </div><div>>Unfortunately we don't have a mechanism to limit</div>
>network usage or local scratch usage, but the former is becoming less of a<br>
>problem with faster edge networking, and we have an opt-in bookkeeping mechanism <br>
>for the latter that isn't enforced but works well enough to keep people<br>
happy.<div class="gmail-m_-7246631242964528018gmail-yj6qo gmail-m_-7246631242964528018gmail-ajU"><div id="gmail-m_-7246631242964528018gmail-:1nt" class="gmail-m_-7246631242964528018gmail-ajR"><img class="gmail-m_-7246631242964528018gmail-ajT" src="https://ssl.gstatic.com/ui/v1/icons/mail/images/cleardot.gif"></div><div class="gmail-m_-7246631242964528018gmail-ajR">That is interesting to me. At ASML I worked on setting up Quality of Service, ie bandwidth limits, for GPFS storage and MPI traffic.</div><div class="gmail-m_-7246631242964528018gmail-ajR">GPFS does have QoS limits inbuilt, but these are intended to limit the backgrouns housekeeping tasks rather than to limit user processes.</div><div class="gmail-m_-7246631242964528018gmail-ajR">But it does have the concept.</div><div class="gmail-m_-7246631242964528018gmail-ajR">With MPI you can configure different QoS levels for different traffic.</div><div class="gmail-m_-7246631242964528018gmail-ajR"><br></div><div class="gmail-m_-7246631242964528018gmail-ajR">More relevently I did have a close discussion with Parav Pandit who is working on the network QoS stuff.</div><div class="gmail-m_-7246631242964528018gmail-ajR">I am sure there is something more up to date than this <a href="https://www.openfabrics.org/images/eventpresos/2016presentations/115rdmacont.pdf">https://www.openfabrics.org/images/eventpresos/2016presentations/115rdmacont.pdf</a></div><div class="gmail-m_-7246631242964528018gmail-ajR">Sadly this RDMA stuff needs a recent 4-series kernel. I guess the discussion on whether or not you should go with a bleeding edge kernel is for another time!</div><div class="gmail-m_-7246631242964528018gmail-ajR">But yes cgroups have configurable network limits with the latest kernels.<br></div><div class="gmail-m_-7246631242964528018gmail-ajR"><br></div><div class="gmail-m_-7246631242964528018gmail-ajR">Also being cheeky, and I probably have mentioned them before, here is a plug for Ellexus <a href="https://www.ellexus.com/">https://www.ellexus.com/</a></div><div class="gmail-m_-7246631242964528018gmail-ajR">Worth mentioning I have no connection with them!<br></div><div class="gmail-m_-7246631242964528018gmail-ajR"><br></div><div class="gmail-m_-7246631242964528018gmail-ajR"><br></div><div class="gmail-m_-7246631242964528018gmail-ajR"><br></div><div class="gmail-m_-7246631242964528018gmail-ajR"><br></div><br></div></div>