<div dir="ltr">We are also switching to BeeGFS from OrangeFS (PVFS2) for our HPC scratch system and looking to expand its use. We set up an experimental scratch system on older hardware and have been very pleased with the performance and ease of use and administration. Metadata performance with a SSD MDT is particularly good. We also have zfs-based NFS storage which is generally used as cold storage. Generally, BeeGFS is a much faster, much better scaling system.<br><br><div>BeeGFS is designed for high performance from parallel HPC applications. It's architecturally very similar to Lustre. Think of it as Lustre-lite—It does basically the same thing, doesn't have quite all the features of Lustre, but also has less complexity and fewer headaches. It is very easy to administer compared to Lustre, OrangeFS, and GPFS. It works well in other applications, but parallel HPC is what it is designed for. If you are looking for more of a ZFS replacement and are less concerned with parallel performance, GlusterFS might be a better fit. <br><div><br>BeeGFS is open source, but not free software. You can get the source and modify it for your own use, but you can't distribute the changes without permission from ThinkParQ. There are also certain "enterprise" features that you should have a support contract with ThinkParQ to use. They won't prevent you from using them, but you are in violation of the license agreement if you do. I make no guarantees, but the trend is that BeeGFS is becoming more open, not less. A support contract is a good idea anyway and contributes to the development of the project. Don't be a freeloader.</div></div><div><br>Jim Burton</div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Mar 19, 2019 at 12:49 AM Jan Wender <<a href="mailto:j.wender@web.de">j.wender@web.de</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi,<br>
<br>
I suggest also to read the license, because it is not a standard open source one. Depending on your situation this might not be an issue. As far as I remember:<br>
- As a service provider you need a xontract with Thinkparq to provide BeeGFS to others. <br>
- Thinkparq reserves for themselves the copyright on changes you perform in the source code. <br>
Just somw things to be aware of. <br>
<br>
In comparison, GPFS  is totally closed source, but Lustre is GPL (or was it LGPL?). <br>
<br>
Cheerio, Jan <br>
-- <br>
Jan Wender - <a href="mailto:j.wender@web.de" target="_blank">j.wender@web.de</a><br>
<br>
> Am 18.03.2019 um 20:32 schrieb Joshua Baker-LePain <<a href="mailto:joshua.bakerlepain@gmail.com" target="_blank">joshua.bakerlepain@gmail.com</a>>:<br>
> <br>
>> On Mon, Mar 18, 2019 at 8:52 AM Will Dennis <<a href="mailto:wdennis@nec-labs.com" target="_blank">wdennis@nec-labs.com</a>> wrote:<br>
>> <br>
>> I am considering using BeeGFS for a parallel file system for one (and if successful, more) of our clusters here. Just wanted to get folks’ opinions on that, and if there is any “gotchas” or better-fit solutions out there... The first cluster I am considering it for has ~50TB storage off a single ZFS server serving the data over NFS currently; looking to increase not only storage capacity, but also I/O speed. The cluster nodes that are consuming the storage have 10GbaseT interconnects, as does the ZFS server. As we are a smaller shop, want to keep the solution simple. BeeGFS was recommended to me as a good solution off another list, and wanted to get people’s opinions off this list.<br>
> <br>
> We're in the midst of migrating our cluster storage from a, err,<br>
> network appliance to BeeGFS.  We currently have 4 storage servers (2<br>
> HA pairs) and 2 metadata servers (each running 4 metadata threads,<br>
> mirrored between the servers) serving 1.4PB of available space.  As<br>
> configured, we've seen the system put out over 600,000 IOPS and<br>
> aggregrate read speeds of over 12,000MB/s.  We're actually going to be<br>
> adding 6 more storage servers and 2 more metadata servers in the near<br>
> future.  So, yeah, we're pretty happy with it.  One rather nice<br>
> feature is the ability to see, at any point, which users and/or hosts<br>
> are generating the most load.<br>
> <br>
> That being said, there are currently a few of gotchas/pain points:<br>
> <br>
> 1) We're using ZFS under BeeGFS, and the storage servers are rather<br>
> cycle hungry.  If you go that route, get boxes with lots of fast<br>
> cores.<br>
> <br>
> 2) In previous versions, you could mix and match point releases<br>
> between servers and clients -- as long as the major version was the<br>
> same, you were fine.  As of v7, that's no longer the case.  IOW,<br>
> moving from 7.0 to 7.1 requires unmounting all the clients, shutting<br>
> down all the daemons, updating all the software, and then restarting<br>
> everything.  Painful.<br>
> <br>
> 3) Also as of v7, the mgmtd service is *critical*.  Any communication<br>
> interruption to/from the mgmtd results in the clients immediately<br>
> hanging.  And, unlike storage and metadata, there is currently no<br>
> mirroring/HA mechanism within BeeGFS for the mgmtd.<br>
> <br>
> We do have a support contract and the folks from Thinkparq are<br>
> responsive.  If you have more questions, please feel free to ask away.<br>
> <br>
> -- <br>
> Joshua Baker-LePain<br>
> QB3 Shared Cluster Sysadmin<br>
> UCSF<br>
> _______________________________________________<br>
> Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
> To change your subscription (digest mode or unsubscribe) visit <a href="https://beowulf.org/cgi-bin/mailman/listinfo/beowulf" rel="noreferrer" target="_blank">https://beowulf.org/cgi-bin/mailman/listinfo/beowulf</a><br>
<br>
_______________________________________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="https://beowulf.org/cgi-bin/mailman/listinfo/beowulf" rel="noreferrer" target="_blank">https://beowulf.org/cgi-bin/mailman/listinfo/beowulf</a><br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr">James Burton<div>OS and Storage Architect</div><div>Advanced Computing Infrastructure</div><div>Clemson University Computing and Information Technology</div><div>340 Computer Court</div><div>Anderson, SC 29625</div><div>(864) 656-9047</div></div></div>