<div dir="ltr"><div>Jon,</div><div>ROCE is commonly used. We run GPFS over ROCE and plenty of other sites do also.</div><div><br></div><div>To answer questions on what network ROCE needs, I guess you could run it on a 1 Gbps network with office grade network switches.</div><div>What it really needs is a lossless network. Dare I saw the Mellanox word....</div><div><br></div><div>I think you would find ROCE is a lot more prevalent than you would think...</div><div>I guess we should brin in GPUdirect  and NVME over Fabrics here.</div><div>Google finds this website:     <a href="http://www.roceinitiative.org/">http://www.roceinitiative.org/</a></div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On 21 September 2017 at 07:02, Jon Tegner <span dir="ltr"><<a href="mailto:tegner@renget.se" target="_blank">tegner@renget.se</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
  
    
  
  <div bgcolor="#FFFFFF" text="#000000">
    What about RoCE? Is this something that is commonly used (I would
    guess no since I have not found much)? Are there other protocols
    that are worth considering (like "gamma" which doesn't seem to be
    developed anymore)?<br>
    <br>
    My impression is that with RoCE you have to use specialized hardware
    (unlike gamma - where one could use standard hardware, and still get
    a noticeable improvement in latency)?<br>
    <br>
    Thoughts?<span class="HOEnZb"><font color="#888888"><br>
    <br>
    /jon</font></span><span><br>
    <br>
    <div class="m_-2955702789732769573moz-cite-prefix">On 09/21/2017 04:09 AM, Christopher
      Samuel wrote:<br>
    </div>
    <blockquote type="cite">
      <blockquote style="color:#000000" type="cite">
        <pre>Thanks Peter for the high level overview! A few followup questions. What
if I am using a non-Infiniband cluster, i.e something with 10gigE.  Or
even slower like at my home I have a raspbery pi cluster with 100 Mbps
ethernet. Is ofed/psm/verbs all irrelevant?
</pre>
      </blockquote>
      <pre>Pretty much, yes, unless you've got fancy switches that can do RoCE.

</pre>
    </blockquote>
    <br>
  </span></div>

<br>______________________________<wbr>_________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf" target="_blank" rel="noreferrer">http://www.beowulf.org/<wbr>mailman/listinfo/beowulf</a><br>
<br></blockquote></div><br></div>