<div dir="ltr">The ESNet pages are pretty good:<div><a href="https://fasterdata.es.net/host-tuning/">https://fasterdata.es.net/host-tuning/</a><br></div><div><a href="https://fasterdata.es.net/network-tuning/">https://fasterdata.es.net/network-tuning/</a><br></div><div><br></div><div>Since you're on a local low-latency link, all the stuff about high-bandwidth high-latency links doesn't apply to you, but the host tuning parameters at least give you somewhere to look.</div><div><br></div><div>I recommend iperf for testing before IMB, make sure you can get line rate throughput with an iperf test.</div></div><br><div class="gmail_quote"><div dir="ltr">On Fri, Aug 4, 2017 at 8:52 AM Michael Di Domenico <<a href="mailto:mdidomenico4@gmail.com">mdidomenico4@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">does anyone have any additional tuning tips beyond the random things<br>
on the net for 10g ethernet tuning?  i have two identical servers<br>
(Quanta Q71L-4U) attached to a single cisco 10g switch, using<br>
identical (Mellanox MNPH28B-XTC) cards.  when i run mpi bandwidth<br>
tests between the two cards, i top out at 200-300MB/sec using IMB<br>
sendrecv.  if i use lustre lnet selftests, i can crank the max to<br>
500MB/sec, but i can't seem to crest this.<br>
<br>
i've monkied around with the sysctl params and the cards are in x8<br>
slots at 2.5GT/s.  i think they should be capable of driving at<br>
~900MB/sec, but i can't seem to get there.  i know i'm missing<br>
something...<br>
_______________________________________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf" rel="noreferrer" target="_blank">http://www.beowulf.org/mailman/listinfo/beowulf</a><br>
</blockquote></div>