Dear All,<br><br>It is lame, however i managed to get the following kernel paramter to scale well in terms of both performance per node, and scalability over  a high bandwidth low latency network<br><br>

<p class="MsoPlainText">net.ipv4.tcp_workaround_signed_windows = 1</p>

<p class="MsoPlainText">net.ipv4.tcp_congestion_control = vegas</p>

<p class="MsoPlainText">net.ipv4.tcp_tso_win_divisor = 8</p>

<p class="MsoPlainText">net.ipv4.tcp_rmem = 4096<span style="">      </span>87380<span style="">  
</span>174760</p>

<p class="MsoPlainText">net.ipv4.tcp_wmem = 4096<span style="">      </span>16384<span style="">  
</span>131072</p>

<p class="MsoPlainText">net.ipv4.tcp_mem = 786432<span style="">     </span>1048576 1572864</p>

<p class="MsoPlainText">net.ipv4.route.max_size = 8388608</p>

<p class="MsoPlainText">net.ipv4.route.gc_thresh = 524288</p>

<p class="MsoPlainText">net.ipv4.icmp_ignore_bogus_error_responses = 0</p>

<p class="MsoPlainText">net.ipv4.icmp_echo_ignore_broadcasts = 0</p>

<p class="MsoPlainText">net.ipv4.tcp_max_orphans = 262144</p>

<p class="MsoPlainText">net.core.netdev_max_backlog = 2000</p>

<br>regards<br><br>Walid<br><br><div class="gmail_quote">2008/6/13 Walid <<a href="mailto:walid.shaari@gmail.com">walid.shaari@gmail.com</a>>:<br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
2008/6/13 Jason Clinton <<a href="mailto:jclinton@advancedclustering.com" target="_blank">jclinton@advancedclustering.com</a>>:<div class="Ih2E3d"><br><div class="gmail_quote"><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">

<div><br></div>We've seen fairly erratic behavior induced by newer drivers for NVidia NForce-based NIC's with forcedeth. If that's your source NIC in the above scenario, that could be the source of the issue as congestion timing has probably changed. Have you tried updating your source NIC driver to whichever is the newest? Nearly all NIC vendors that are incorporated on server motherboards put out updated drivers on their websites.<br>


<br></blockquote></div></div>Jason,<br>
<br>
The NIC is broadcom (Bnx2 driver), I have, however i had to go to the
RHEL5.1 kernel as it does not want to compile on the new kernels.
however it did not change much, i have also played with the different
congestion settings, and even though Vegas seems to be the most
performance capable,  it still did not solve it, I had one test that i did not
write down where it did perform well, I have saved the sysctl and will
check what parameters have made the difference.<br>
<br>
regards<br><font color="#888888">
<br>
Walid
</font></blockquote></div><br>