AFAIK all your disks and the nvidia CK804 supprt NCQ but the sil 3114 don't.<br>This could explain the lower drive throughput undel sil 3114 controller.<br><br><br><div class="gmail_quote">2010/3/26 David Mathog <span dir="ltr"><<a href="mailto:mathog@caltech.edu">mathog@caltech.edu</a>></span><br>
<blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">I'm hoping somebody has seen this before and can suggest what might be<br>
going on.<br>
<br>
One machine (Arima HDAMA-I board, dual Opteron 280, 4GB RAM,<br>
Sil 3114 Sata controller, Sil 5.4.03 firmware) has mysteriously slow<br>
SATA IO.  This is the case for two different disks (WD10EARS and<br>
ST340014AS), two different disk schedulers, and two different OS's<br>
(Mandriva 2010.0 and PLD 2.97 rescue linux.)  Using a different brand of<br>
cable, and plugging into a different SATA port didn't help either.<br>
However, move those disks to another machine (Asus A8N5X, Nvidia CK804<br>
SATA controller, single core, 1 GB RAM, Knoppix) and they are both much<br>
faster.  Raw results from various experiments here:<br>
<br>
  <a href="http://saf.bio.caltech.edu/pub/pickup/bonnie++.rtf" target="_blank">http://saf.bio.caltech.edu/pub/pickup/bonnie++.rtf</a><br>
  <a href="http://saf.bio.caltech.edu/pub/pickup/sustained_write.rtf" target="_blank">http://saf.bio.caltech.edu/pub/pickup/sustained_write.rtf</a><br>
<br>
For the sustained write test both disks on the slow system take about<br>
102s to write 4GB to disk, or around 41.3GB/s.  That isn't horrible<br>
horrible, but it isn't great either.  On the faster machine the WD10EARS<br>
does the job in 39 seconds, and even the old Seagate is done in 74s.  It<br>
strikes me that something must be rate limiting both disks to about the<br>
same throughput.  The Sil 3114 chip is somehow interfaced through the<br>
PCI bus, but even if that is only 33MHz it is still 4 bytes wide and<br>
should be able to handle around 132 MB/s, 3X what I'm seeing.  All of<br>
the PCI and PCI-X slots are unoccupied. I have no previous experience<br>
with the Sil 3114 or the Arima board, so don't know if this is typical<br>
for either.<br>
<br>
Perhaps the oddest part of this is that during these tests the disk<br>
light on the slow system blinks but is often off for long periods.<br>
Conversely, on the faster system the disk light stays on pretty<br>
steadily.  As if on the slower system it is doing something else when it<br>
should be doing disk IO.<br>
<br>
Thanks,<br>
<font color="#888888"><br>
David Mathog<br>
<a href="mailto:mathog@caltech.edu">mathog@caltech.edu</a><br>
Manager, Sequence Analysis Facility, Biology Division, Caltech<br>
_______________________________________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf" target="_blank">http://www.beowulf.org/mailman/listinfo/beowulf</a><br>
</font></blockquote></div><br>