<div dir="ltr">Dell controllers are (almost?) always rebranded LSI.  You can use the LSI tool "megacli", or if you prefer a slightly less insane UI you can use the newer "storcli". To see what happened during your consistency check you would need to check the logs that can be generated with these tools.  These logs will probably also help you determine what went wrong initially.  Unfortunately, these RAID controllers do not allow you to access any SMART data unless they are in JBOD mode so you pretty much have to pull the disk and check it on another machine.<br><br>Last I looked, the default behavior for a consistency check is to assume the primary copy is correct for any discrepancies and overwrite the parity/mirror versions with that.  Which is pretty dumb for a default setting (you can at least disable this automatic "repair").  So your consistency check might have wiped the good data...<br><br><br></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Mar 17, 2015 at 2:57 PM, Jörg Saßmannshausen <span dir="ltr"><<a href="mailto:j.sassmannshausen@ucl.ac.uk" target="_blank">j.sassmannshausen@ucl.ac.uk</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi David,<br>
<br>
for me it looks like either a controller or disc issue.<br>
<br>
I have seen these problems before on SCSI discs when the controller had a<br>
problem. Depending on the manufacturer it might be a good idea to contact them<br>
and see if they got more informations here. I have had some problems in the<br>
past with RAID controllers and the manufacturer here was ever so helpful in<br>
the diagnosis and repair of a failed RAID5 for example.<br>
<br>
So it might be a good idea to try them.<br>
<br>
All the best from a cold London<br>
<br>
Jörg<br>
<div><div class="h5"><br>
<br>
On Montag 16 März 2015 mathog wrote:<br>
> Thanks for the feedback.<br>
><br>
> After copying /boot and /bin from another machine and mucking about with<br>
> grub for far too long (had to edit grub.conf to change virtual disk<br>
> names, and in CentOS's rescue disk it saw the boot disk as hd1, but when<br>
> grub actually started, it saw it as hd0) the system is back on line.<br>
><br>
> The logs don't show a root command line that specifically took out those<br>
> directories.  They do show a bunch of scripts being run.  My best guess<br>
> is that one of them did something like this:<br>
><br>
>    AVAR=`command that failed and returned an empty string`<br>
>    rm -rf ${AVAR}/b*<br>
><br>
> It seems unlikely that a low level controller failure would have snipped<br>
> out those files/directories without resulting in a file system that was<br>
> seen as corrupt by fsck.<br>
><br>
> That said, there is something hardware related going on, since<br>
> /var/log/messages has a lot of these (sorry about the wrap):<br>
><br>
> Mar 16 12:37:27 mandolin kernel: sd 7:0:0:0: [sdb]  Sense Key :<br>
> Recovered Error [current] [descriptor]<br>
> Mar 16 12:37:27 mandolin kernel: Descriptor sense data with sense<br>
> descriptors (in hex):<br>
> Mar 16 12:37:27 mandolin kernel:        72 01 04 1d 00 00 00 0e 09 0c 00<br>
> 00 00 00 00 00<br>
> Mar 16 12:37:27 mandolin kernel:        00 4f 00 c2 40 50<br>
> Mar 16 12:37:27 mandolin kernel: sd 7:0:0:0: [sdb]  ASC=0x4 ASCQ=0x1d<br>
><br>
> That group has several other similar Dell servers, and this is the only<br>
> one logging these.  sdb1 holds /boot and sdb2 is where the lvm keeps its<br>
> information.<br>
><br>
> Regards,<br>
><br>
> David Mathog<br>
> <a href="mailto:mathog@caltech.edu">mathog@caltech.edu</a><br>
> Manager, Sequence Analysis Facility, Biology Division, Caltech<br>
> _______________________________________________<br>
> Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
> To change your subscription (digest mode or unsubscribe) visit<br>
> <a href="http://www.beowulf.org/mailman/listinfo/beowulf" target="_blank">http://www.beowulf.org/mailman/listinfo/beowulf</a><br>
<br>
<br>
</div></div>--<br>
*************************************************************<br>
Dr. Jörg Saßmannshausen, MRSC<br>
University College London<br>
Department of Chemistry<br>
Gordon Street<br>
London<br>
WC1H 0AJ<br>
<br>
email: <a href="mailto:j.sassmannshausen@ucl.ac.uk">j.sassmannshausen@ucl.ac.uk</a><br>
web: <a href="http://sassy.formativ.net" target="_blank">http://sassy.formativ.net</a><br>
<br>
Please avoid sending me Word or PowerPoint attachments.<br>
See <a href="http://www.gnu.org/philosophy/no-word-attachments.html" target="_blank">http://www.gnu.org/philosophy/no-word-attachments.html</a><br>
<br>_______________________________________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf" target="_blank">http://www.beowulf.org/mailman/listinfo/beowulf</a><br>
<br></blockquote></div><br></div>