<div dir="ltr">
<div><div class="gmail-"><div class="gmail-public-DraftStyleDefault-block gmail-public-DraftStyleDefault-ltr"><span><span>I am calculating the theoretical peak (FP64) performance of the Nvidia DGX A100 system. <br></span></span></div><div class="gmail-public-DraftStyleDefault-block gmail-public-DraftStyleDefault-ltr"><span><span><br></span></span></div><div class="gmail-public-DraftStyleDefault-block gmail-public-DraftStyleDefault-ltr"><span><span>Now, A100 datasheet lists FP64 performance to be 9.7 TFLOPS. <br></span></span></div><div class="gmail-public-DraftStyleDefault-block gmail-public-DraftStyleDefault-ltr"><span><span>Two AMD 7742 CPUs will give 128 cores x 2.25 GHz base clock x 16 FP64 ops / cycle = 4.6 TFLOPS. <br></span></span></div><div class="gmail-public-DraftStyleDefault-block gmail-public-DraftStyleDefault-ltr"><span><span>This gives a total of 82.2 TFLOPS per DGX-A100.</span></span></div><div class="gmail-public-DraftStyleDefault-block gmail-public-DraftStyleDefault-ltr"><span><span><br></span></span></div></div><div class="gmail-"><div class="gmail-public-DraftStyleDefault-block gmail-public-DraftStyleDefault-ltr"><span><span>Here is my problem. For any system with DGX A100 on <a href="http://top500.org">top500.org</a>, numbers just don't add up. For eg: Selene has 560 DGX boxes, but its theoretical peak is listed as 79.2 PFLOPS, whereas I expect it should be 46 PFLOPS (ie 82.2 TFLOPS x560). The same is true for any other DGX based system listed on top500. What am I missing here?</span></span></div><div class="gmail-public-DraftStyleDefault-block gmail-public-DraftStyleDefault-ltr"><span><span><br></span></span></div><div class="gmail-public-DraftStyleDefault-block gmail-public-DraftStyleDefault-ltr"><span><span>Thanks!</span></span></div><div class="gmail-public-DraftStyleDefault-block gmail-public-DraftStyleDefault-ltr"><span><span><br></span></span></div><div class="gmail-public-DraftStyleDefault-block gmail-public-DraftStyleDefault-ltr"><span><span>Harsh Hemani<br></span></span></div></div></div>

</div>