<div dir="ltr">Leo,<div><br></div><div>Both BeeGFS and Lustre require a backend file system on the disks themselves. Both Lustre and BeeGFS support ZFS backend. </div><div><br></div><div>--Jeff</div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Aug 10, 2023 at 1:00 PM leo camilo <<a href="mailto:lhcamilo@gmail.com">lhcamilo@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Hi there, <br><br></div><div>thanks for your response. <br></div><div><br></div><div>BeeGFS indeed looks like a good call option, though realistically I can only afford to use a single node/server for it.<br><br></div><div>Would it be feasible to use zfs as volume manager coupled with BeeGFS for the shares, or should I write zfs off all together? <br><br></div><div>thanks again, <br><br></div><div>best, <br><br></div><div>leo<br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, 10 Aug 2023 at 21:29, Bernd Schubert <<a href="mailto:bernd.schubert@fastmail.fm" target="_blank">bernd.schubert@fastmail.fm</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><br>
<br>
On 8/10/23 21:18, leo camilo wrote:<br>
> Hi everyone,<br>
> <br>
> I was hoping I would seek some sage advice from you guys.<br>
> <br>
> At my department we have build this small prototyping cluster with 5 <br>
> compute nodes,1 name node and 1 file server.<br>
> <br>
> Up until now, the name node contained the scratch partition, which <br>
> consisted of 2x4TB HDD, which form an 8 TB striped zfs pool. The pool is <br>
> shared to all the nodes using nfs. The compute nodes and the name node <br>
> and compute nodes are connected with both cat6 ethernet net cable and <br>
> infiniband. Each compute node has 40 cores.<br>
> <br>
> Recently I have attempted to launch computation from each node (40 tasks <br>
> per node), so 1 computation per node.  And the performance was abysmal. <br>
> I reckon I might have reached the limits of NFS.<br>
> <br>
> I then realised that this was due to very poor performance from NFS. I <br>
> am not using stateless nodes, so each node has about 200 GB of SSD <br>
> storage and running directly from there was a lot faster.<br>
> <br>
> So, to solve the issue,  I reckon I should replace NFS with something <br>
> better. I have ordered 2x4TB NVMEs  for the new scratch and I was <br>
> thinking of :<br>
> <br>
>   * using the 2x4TB NVME in a striped ZFS pool and use a single node<br>
>     GlusterFS to replace NFS<br>
>   * using the 2x4TB NVME with GlusterFS in a distributed arrangement<br>
>     (still single node)<br>
> <br>
> Some people told me to use lustre,but I reckon that might be overkill. <br>
> And I would only use a single fileserver machine(1 node).<br>
> <br>
> Could you guys give me some sage advice here?<br>
> <br>
<br>
So glusterfs is using fuse, which doesn't have the best performance <br>
reputation (although hopefully not for long - feel free to search for <br>
"fuse" + "uring").<br>
<br>
If you want to avoid complexity of Lustre, maybe look into BeeGFS. Well, <br>
I would recommend to look into it anyway (as former developer I'm biased <br>
again ;) ).<br>
<br>
<br>
Cheers,<br>
Bernd<br>
<br>
</blockquote></div>
_______________________________________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="https://beowulf.org/cgi-bin/mailman/listinfo/beowulf" rel="noreferrer" target="_blank">https://beowulf.org/cgi-bin/mailman/listinfo/beowulf</a><br>
</blockquote></div><br clear="all"><div><br></div><span class="gmail_signature_prefix">-- </span><br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr">------------------------------<br>Jeff Johnson<br>Co-Founder<br>Aeon Computing<br><br><a href="mailto:jeff.johnson@aeoncomputing.com" target="_blank">jeff.johnson@aeoncomputing.com</a><br><a href="http://www.aeoncomputing.com" target="_blank">www.aeoncomputing.com</a><br>t: 858-412-3810 x1001   f: 858-412-3845<br>m: 619-204-9061<br><br>4170 Morena Boulevard, Suite C - San Diego, CA 92117<div><br></div><div>High-Performance Computing / Lustre Filesystems / Scale-out Storage</div></div></div></div></div>