Hi Steffen,<br> Replies inline.<br><br><div class="gmail_quote">On Mon, May 26, 2008 at 8:01 AM, Steffen Grunewald <<a href="mailto:steffen.grunewald@aei.mpg.de" target="_blank">steffen.grunewald@aei.mpg.de</a>> wrote:<br>
<blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
I'm looking into GlusterFS to store data on a cluster (amd64, Debian Etch)<br>
in a distributed way with redundancy (kind of RAID-1, two nodes mirroring<br>
each other). Each node has a dedicated harddisk which can be used for data<br>
storage, and I'm still free to decide which FS to choose.</blockquote><div>Sure, we advice you to feel comfortable before choosing anything.<br> <br></div><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
<br>
For easier recovery I'd prefer not to split files across nodes (typical<br>
size ~ a few MB).<br>
</blockquote><div>Yes, we recommend that for filesizes below few hundred MBs.<br> <br></div><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">

<br>
Would GlusterFS be suited for such a task?</blockquote><div>Yes.<br> <br></div><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;"><br>
Would it scale to a couple of hundreds of disk "pairs"?</blockquote><div>Yes.<br> </div><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">

<br>
Which underlying filesystem should I choose?</blockquote><div>you have lot of options. ext3, reiserfs, xfs, ZFS (if you use Solaris, on BSD extended attribute support for ZFS is not yet there, hence you may not get RAID-1 functionality of GlusterFS) <br>

</div><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;"><br>
<br>
Since I'm using my own "homegrown" kernel, which modules would I have to<br>
build - is it mandatory to use the patched version of fuse?</blockquote><div>No, its not mandatory to use GlusterFS patched fuse. Its just recommended because, it has higher I/O performance. But yes, if you want to use GlusterFS, you need FUSE module.<br>

<br>If you have Infiniband setup, few IB modules (mainly ib_uverbs) are required to get ''ib-verbs'' tranport to work. GlusterFS has native support for Infiniband userspace verbs (ie, RDMA support) protocol, using which you can gain a lot in performance, for both i/o intensive and low latency applications. <br>

<br> <br></div><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
Any suggestions for the stack of translators (and their order therein)?<br>
How to best organize redundancy? (since I don't have it in hardware, and<br>
I can get hold of "missing" files *if* I know their names, this should<br>
be not too hard?)<br>
</blockquote><div><br>Unify (afr1 (disk1a, disk2a.. diskNa), afr2 (disk 1b, disk2b...diskNb)... afrN(...)) [1]<br><br>Hope the above description is understood as a tree graph.<br><br>Yes, your file resides on the hardware (ie, on backend filesystem) as is. So, you will get the file back, even if you take the disk out. <br>

<br></div><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;"><br>
Any alternatives? (as fas as I know, e.g. Lustre doesn't have redundancy<br>
features...)<br>
</blockquote><div><br>No idea.<br></div></div><br clear="all">Regards,<br>Amar<br><br>[1] disks can be mapped to remote servers too.<br><br>-- <br>Amar Tumballi<br>Gluster/GlusterFS Hacker<br>[bulde on #gluster/<a href="http://irc.gnu.org" target="_blank">irc.gnu.org</a>]<br>

<a href="http://www.zresearch.com" target="_blank">http://www.zresearch.com</a> - Commoditizing Super Storage!