<div dir="ltr">thankyou</div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Oct 1, 2019 at 9:26 PM Bill Wichser <<a href="mailto:bill@princeton.edu">bill@princeton.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">I used xxHash-0.7.0 to build against.  You'll need to grab a version and <br>
install.  For the actual rsync I have a diff, xxhash.patch along with <br>
the rpms for rsync in<br>
<br>
<a href="https://tigress-web.princeton.edu/~bill/" rel="noreferrer" target="_blank">https://tigress-web.princeton.edu/~bill/</a><br>
<br>
If I get time I'll try and pass this to the upstream rsync folks.  It is <br>
performing about the same speed as using --checksum so we are happy. <br>
This has been in production and seems to work fine.<br>
<br>
Bill<br>
<br>
On 9/30/19 8:55 PM, Stu Midgley wrote:<br>
> That's pretty awesome, are you going to make it available?  or push it <br>
> upstream?<br>
> <br>
> If not... how can we get it?<br>
> <br>
> On Tue, Oct 1, 2019 at 1:09 AM Bill Wichser <<a href="mailto:bill@princeton.edu" target="_blank">bill@princeton.edu</a> <br>
> <mailto:<a href="mailto:bill@princeton.edu" target="_blank">bill@princeton.edu</a>>> wrote:<br>
> <br>
>     Just wanted to circle back on my orginal question.  I changed the rsync<br>
>     code adding xxhash and we see about a 3x speedup.  Good enough since it<br>
>     is very close to not using any checksum speedups.<br>
> <br>
>     Bill<br>
> <br>
>     On 6/17/19 9:43 AM, Bill Wichser wrote:<br>
>      > We have moved to a rsync disk backup system, from TSM tape, in<br>
>     order to<br>
>      > have a DR for our 10 PB GPFS filesystem.  We looked at a lot of<br>
>     options<br>
>      > but here we are.<br>
>      ><br>
>      > md5 checksums take a lot of compute time with huge files and even<br>
>     with<br>
>      > millions of smaller ones.  The bulk of the time for running rsync is<br>
>      > spent in computing the source and destination checksums and we'd<br>
>     like to<br>
>      > alleviate that pain of a cryptographic algorithm.<br>
>      ><br>
>      > Googling around, I found no mention of using a technique like<br>
>     this to<br>
>      > improve rsync performance.  I did find reference to a few hashing<br>
>      > algorithms though which could certainly work here (xxhash,<br>
>     murmurhash,<br>
>      > sbox, cityhash64).<br>
>      ><br>
>      > Rsync has certainly been around for a few years!  We are going to<br>
>     pursue<br>
>      > changing the current checksum algorithm and using something much<br>
>     faster.<br>
>      >   If anyone has done this already and would like to share their<br>
>      > experiences that would be wonderful. Ideally this could be some<br>
>     optional<br>
>      > plugin for rsync where users could choose which checksummer to use.<br>
>      ><br>
>      > Bill<br>
>      > _______________________________________________<br>
>      > Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a><br>
>     <mailto:<a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a>> sponsored by Penguin Computing<br>
>      > To change your subscription (digest mode or unsubscribe) visit<br>
>      > <a href="https://beowulf.org/cgi-bin/mailman/listinfo/beowulf" rel="noreferrer" target="_blank">https://beowulf.org/cgi-bin/mailman/listinfo/beowulf</a><br>
>     _______________________________________________<br>
>     Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a><br>
>     <mailto:<a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a>> sponsored by Penguin Computing<br>
>     To change your subscription (digest mode or unsubscribe) visit<br>
>     <a href="https://beowulf.org/cgi-bin/mailman/listinfo/beowulf" rel="noreferrer" target="_blank">https://beowulf.org/cgi-bin/mailman/listinfo/beowulf</a><br>
> <br>
> <br>
> <br>
> -- <br>
> Dr Stuart Midgley<br>
> <a href="mailto:sdm900@gmail.com" target="_blank">sdm900@gmail.com</a> <mailto:<a href="mailto:sdm900@gmail.com" target="_blank">sdm900@gmail.com</a>><br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr">Dr Stuart Midgley<br><a href="mailto:sdm900@gmail.com" target="_blank">sdm900@gmail.com</a></div></div>