<div dir="ltr">That's pretty awesome, are you going to make it available?  or push it upstream?<div><br></div><div>If not... how can we get it?</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Oct 1, 2019 at 1:09 AM Bill Wichser <<a href="mailto:bill@princeton.edu">bill@princeton.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Just wanted to circle back on my orginal question.  I changed the rsync <br>
code adding xxhash and we see about a 3x speedup.  Good enough since it <br>
is very close to not using any checksum speedups.<br>
<br>
Bill<br>
<br>
On 6/17/19 9:43 AM, Bill Wichser wrote:<br>
> We have moved to a rsync disk backup system, from TSM tape, in order to <br>
> have a DR for our 10 PB GPFS filesystem.  We looked at a lot of options <br>
> but here we are.<br>
> <br>
> md5 checksums take a lot of compute time with huge files and even with <br>
> millions of smaller ones.  The bulk of the time for running rsync is <br>
> spent in computing the source and destination checksums and we'd like to <br>
> alleviate that pain of a cryptographic algorithm.<br>
> <br>
> Googling around, I found no mention of using a technique like this to <br>
> improve rsync performance.  I did find reference to a few hashing <br>
> algorithms though which could certainly work here (xxhash, murmurhash, <br>
> sbox, cityhash64).<br>
> <br>
> Rsync has certainly been around for a few years!  We are going to pursue <br>
> changing the current checksum algorithm and using something much faster. <br>
>   If anyone has done this already and would like to share their <br>
> experiences that would be wonderful. Ideally this could be some optional <br>
> plugin for rsync where users could choose which checksummer to use.<br>
> <br>
> Bill<br>
> _______________________________________________<br>
> Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
> To change your subscription (digest mode or unsubscribe) visit <br>
> <a href="https://beowulf.org/cgi-bin/mailman/listinfo/beowulf" rel="noreferrer" target="_blank">https://beowulf.org/cgi-bin/mailman/listinfo/beowulf</a><br>
_______________________________________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="https://beowulf.org/cgi-bin/mailman/listinfo/beowulf" rel="noreferrer" target="_blank">https://beowulf.org/cgi-bin/mailman/listinfo/beowulf</a><br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr">Dr Stuart Midgley<br><a href="mailto:sdm900@gmail.com" target="_blank">sdm900@gmail.com</a></div></div>