<div dir="auto">A 300 foot wide system?<div dir="auto"><br></div><div dir="auto">(Admiral Grace Hopper giving out copper nanoseconds)</div></div><br><div class="gmail_quote gmail_quote_container"><div dir="ltr" class="gmail_attr">On Sat, Feb 21, 2026, 12:34 PM Lawrence Stewart <<a href="mailto:stewart@serissa.com">stewart@serissa.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><br>
<br>
> On Feb 21, 2026, at 3:28 AM, Greg Lindahl <<a href="mailto:lindahl@pbm.com" target="_blank" rel="noreferrer">lindahl@pbm.com</a>> wrote:<br>
> <br>
> On Thu, Jan 15, 2026 at 08:28:36PM -0500, Lawrence Stewart wrote:<br>
> <br>
>> I think a 64 byte store at a core should directly become a packet.  No on-die-network, no coherence, no root complex, no host-fabric adapter.  Incoming short messages should be delivered directly to a fifo in the relevant core.<br>
> <br>
> I think that's a great idea!<br>
> <br>
> — greg<br>
> <br>
<br>
<br>
As Greg, I think, is hinting, this idea was a thing that QLogic HFI’s did, using the core write combining buffers to good effect.  It seems like it is also the basic idea behind MOVDIR64B, which specifies that a 64 byte write will be atomic all the way down.<br>
<br>
Using core registers for messaging is much older, with Transputers, Tilera, Dally’s J Machine and arguably Cray E-registers. <br>
<br>
What this is really about is end to end latency. We’ve been stuck at 1 microsecond since the Cray T3D 30 years ago, in spite of 100x improvements in link speed.  If we can eliminate all the middlemen and get switches back to 50 ns forwarding, I think we should be able to get 300 ns end to end in a good size system.<br>
<br>
-Larry<br>
<br>
_______________________________________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank" rel="noreferrer">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="https://beowulf.org/cgi-bin/mailman/listinfo/beowulf" rel="noreferrer noreferrer" target="_blank">https://beowulf.org/cgi-bin/mailman/listinfo/beowulf</a><br>
</blockquote></div>