Extracted the --md5 option from Wolfgang Neuman's patch
authorWayne Davison <wayned@samba.org>
Tue, 14 Jun 2005 02:52:08 +0000 (02:52 +0000)
committerWayne Davison <wayned@samba.org>
Tue, 14 Jun 2005 02:52:08 +0000 (02:52 +0000)
contribution and cleaned it up a bit.

md5.diff [new file with mode: 0644]

diff --git a/md5.diff b/md5.diff
new file mode 100644 (file)
index 0000000..17f40da
--- /dev/null
+++ b/md5.diff
@@ -0,0 +1,589 @@
+--- orig/Makefile.in   2004-11-02 16:47:15
++++ Makefile.in        2005-06-14 02:33:20
+@@ -26,7 +26,7 @@ VERSION=@VERSION@
+ .SUFFIXES: .c .o
+ HEADERS=byteorder.h config.h errcode.h proto.h rsync.h lib/pool_alloc.h
+-LIBOBJ=lib/wildmatch.o lib/compat.o lib/snprintf.o lib/mdfour.o \
++LIBOBJ=lib/wildmatch.o lib/compat.o lib/snprintf.o lib/mdfour.o lib/md5.o \
+       lib/permstring.o lib/pool_alloc.o @LIBOBJS@
+ ZLIBOBJ=zlib/deflate.o zlib/infblock.o zlib/infcodes.o zlib/inffast.o \
+       zlib/inflate.o zlib/inftrees.o zlib/infutil.o zlib/trees.o \
+--- orig/checksum.c    2005-01-01 21:08:05
++++ checksum.c 2005-06-14 02:43:38
+@@ -18,6 +18,7 @@
+ */
+ #include "rsync.h"
++#include "lib/md5.h"
+ int csum_length=2; /* initial value */
+@@ -25,6 +26,7 @@ int csum_length=2; /* initial value */
+ extern int checksum_seed;
+ extern int protocol_version;
++extern int use_md5;
+ /*
+   a simple 32 bit checksum that can be upadted from either end
+@@ -55,6 +57,7 @@ void get_checksum2(char *buf, int32 len,
+       static char *buf1;
+       static int32 len1;
+       struct mdfour m;
++      md5_context ctx;
+       if (len > len1) {
+               if (buf1)
+@@ -65,7 +68,10 @@ void get_checksum2(char *buf, int32 len,
+                       out_of_memory("get_checksum2");
+       }
+-      mdfour_begin(&m);
++      if (use_md5)
++              md5_starts(&ctx);
++      else
++              mdfour_begin(&m);
+       memcpy(buf1,buf,len);
+       if (checksum_seed) {
+@@ -74,7 +80,10 @@ void get_checksum2(char *buf, int32 len,
+       }
+       for(i = 0; i + CSUM_CHUNK <= len; i += CSUM_CHUNK) {
+-              mdfour_update(&m, (uchar *)(buf1+i), CSUM_CHUNK);
++              if (use_md5)
++                      md5_update(&ctx, (uchar *)(buf1+i), CSUM_CHUNK);
++              else
++                      mdfour_update(&m, (uchar *)(buf1+i), CSUM_CHUNK);
+       }
+       /*
+        * Prior to version 27 an incorrect MD4 checksum was computed
+@@ -83,10 +92,16 @@ void get_checksum2(char *buf, int32 len,
+        * even when there are no more bytes.
+        */
+       if (len - i > 0 || protocol_version >= 27) {
+-              mdfour_update(&m, (uchar *)(buf1+i), (len-i));
++              if (use_md5)
++                      md5_update(&ctx, (uchar *)(buf1+i), len-i);
++              else
++                      mdfour_update(&m, (uchar *)(buf1+i), len-i);
+       }
+-      mdfour_result(&m, (uchar *)sum);
++      if (use_md5)
++              md5_finish(&ctx, (uchar *)sum);
++      else
++              mdfour_result(&m, (uchar *)sum);
+ }
+@@ -97,6 +112,7 @@ void file_checksum(char *fname,char *sum
+       int fd;
+       OFF_T len = size;
+       struct mdfour m;
++      md5_context ctx;
+       memset(sum,0,MD4_SUM_LENGTH);
+@@ -106,21 +122,36 @@ void file_checksum(char *fname,char *sum
+       buf = map_file(fd, size, MAX_MAP_SIZE, CSUM_CHUNK);
+-      mdfour_begin(&m);
++      if (use_md5)
++              md5_starts(&ctx);
++      else
++              mdfour_begin(&m);
+       for(i = 0; i + CSUM_CHUNK <= len; i += CSUM_CHUNK) {
+-              mdfour_update(&m, (uchar *)map_ptr(buf, i, CSUM_CHUNK),
+-                            CSUM_CHUNK);
++              if (use_md5) {
++                      md5_update(&ctx, (uchar *)map_ptr(buf, i, CSUM_CHUNK),
++                                 CSUM_CHUNK);
++              } else {
++                      mdfour_update(&m, (uchar *)map_ptr(buf, i, CSUM_CHUNK),
++                                    CSUM_CHUNK);
++              }
+       }
+       /* Prior to version 27 an incorrect MD4 checksum was computed
+        * by failing to call mdfour_tail() for block sizes that
+        * are multiples of 64.  This is fixed by calling mdfour_update()
+        * even when there are no more bytes. */
+-      if (len - i > 0 || protocol_version >= 27)
+-              mdfour_update(&m, (uchar *)map_ptr(buf, i, len-i), len-i);
++      if (len - i > 0 || protocol_version >= 27) {
++              if (use_md5)
++                      md5_update(&ctx, (uchar *)map_ptr(buf, i, len-i), len-i);
++              else
++                      mdfour_update(&m, (uchar *)map_ptr(buf, i, len-i), len-i);
++      }
+-      mdfour_result(&m, (uchar *)sum);
++      if (use_md5)
++              md5_finish(&ctx, (uchar *)sum);
++      else
++              mdfour_result(&m, (uchar *)sum);
+       close(fd);
+       unmap_file(buf);
+@@ -130,11 +161,15 @@ void file_checksum(char *fname,char *sum
+ static int32 sumresidue;
+ static char sumrbuf[CSUM_CHUNK];
+ static struct mdfour md;
++static md5_context ctxd;
+ void sum_init(int seed)
+ {
+       char s[4];
+-      mdfour_begin(&md);
++      if (use_md5)
++              md5_starts(&ctxd);
++      else
++              mdfour_begin(&md);
+       sumresidue = 0;
+       SIVAL(s, 0, seed);
+       sum_update(s, 4);
+@@ -159,13 +194,19 @@ void sum_update(char *p, int32 len)
+       if (sumresidue) {
+               int32 i = CSUM_CHUNK - sumresidue;
+               memcpy(sumrbuf + sumresidue, p, i);
+-              mdfour_update(&md, (uchar *)sumrbuf, CSUM_CHUNK);
++              if (use_md5)
++                      md5_update(&ctxd, (uchar *)sumrbuf, CSUM_CHUNK);
++              else
++                      mdfour_update(&md, (uchar *)sumrbuf, CSUM_CHUNK);
+               len -= i;
+               p += i;
+       }
+       while (len >= CSUM_CHUNK) {
+-              mdfour_update(&md, (uchar *)p, CSUM_CHUNK);
++              if (use_md5)
++                      md5_update(&ctxd, (uchar *)p, CSUM_CHUNK);
++              else
++                      mdfour_update(&md, (uchar *)p, CSUM_CHUNK);
+               len -= CSUM_CHUNK;
+               p += CSUM_CHUNK;
+       }
+@@ -177,8 +218,15 @@ void sum_update(char *p, int32 len)
+ void sum_end(char *sum)
+ {
+-      if (sumresidue || protocol_version >= 27)
+-              mdfour_update(&md, (uchar *)sumrbuf, sumresidue);
++      if (sumresidue || protocol_version >= 27) {
++              if (use_md5)
++                      md5_update(&ctxd, (uchar *)sumrbuf, sumresidue);
++              else
++                      mdfour_update(&md, (uchar *)sumrbuf, sumresidue);
++      }
+-      mdfour_result(&md, (uchar *)sum);
++      if (use_md5)
++              md5_finish(&ctxd, (uchar *)sum);
++      else
++              mdfour_result(&md, (uchar *)sum);
+ }
+--- orig/lib/md5.c     2005-06-14 02:35:52
++++ lib/md5.c  2005-06-14 02:35:52
+@@ -0,0 +1,344 @@
++/*
++ *  RFC 1321 compliant MD5 implementation
++ *
++ *  Copyright (C) 2001-2003  Christophe Devine
++ *
++ *  This program is free software; you can redistribute it and/or modify
++ *  it under the terms of the GNU General Public License as published by
++ *  the Free Software Foundation; either version 2 of the License, or
++ *  (at your option) any later version.
++ *
++ *  This program is distributed in the hope that it will be useful,
++ *  but WITHOUT ANY WARRANTY; without even the implied warranty of
++ *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
++ *  GNU General Public License for more details.
++ *
++ *  You should have received a copy of the GNU General Public License
++ *  along with this program; if not, write to the Free Software
++ *  Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
++ */
++
++
++#include "rsync.h"
++#include "md5.h"
++
++#define GET_UINT32(n,b,i)                       \
++{                                               \
++    (n) = ( (uint32) (b)[(i)    ]       )       \
++        | ( (uint32) (b)[(i) + 1] <<  8 )       \
++        | ( (uint32) (b)[(i) + 2] << 16 )       \
++        | ( (uint32) (b)[(i) + 3] << 24 );      \
++}
++
++#define PUT_UINT32(n,b,i)                       \
++{                                               \
++    (b)[(i)    ] = (uchar) ( (n)       );       \
++    (b)[(i) + 1] = (uchar) ( (n) >>  8 );       \
++    (b)[(i) + 2] = (uchar) ( (n) >> 16 );       \
++    (b)[(i) + 3] = (uchar) ( (n) >> 24 );       \
++}
++
++void md5_starts( md5_context *ctx )
++{
++    ctx->total[0] = 0;
++    ctx->total[1] = 0;
++
++    ctx->state[0] = 0x67452301;
++    ctx->state[1] = 0xEFCDAB89;
++    ctx->state[2] = 0x98BADCFE;
++    ctx->state[3] = 0x10325476;
++}
++
++void md5_process( md5_context *ctx, uchar data[64] )
++{
++    uint32 X[16], A, B, C, D;
++
++    GET_UINT32( X[0],  data,  0 );
++    GET_UINT32( X[1],  data,  4 );
++    GET_UINT32( X[2],  data,  8 );
++    GET_UINT32( X[3],  data, 12 );
++    GET_UINT32( X[4],  data, 16 );
++    GET_UINT32( X[5],  data, 20 );
++    GET_UINT32( X[6],  data, 24 );
++    GET_UINT32( X[7],  data, 28 );
++    GET_UINT32( X[8],  data, 32 );
++    GET_UINT32( X[9],  data, 36 );
++    GET_UINT32( X[10], data, 40 );
++    GET_UINT32( X[11], data, 44 );
++    GET_UINT32( X[12], data, 48 );
++    GET_UINT32( X[13], data, 52 );
++    GET_UINT32( X[14], data, 56 );
++    GET_UINT32( X[15], data, 60 );
++
++#define S(x,n) ((x << n) | ((x & 0xFFFFFFFF) >> (32 - n)))
++
++#define P(a,b,c,d,k,s,t)                                \
++{                                                       \
++    a += F(b,c,d) + X[k] + t; a = S(a,s) + b;           \
++}
++
++    A = ctx->state[0];
++    B = ctx->state[1];
++    C = ctx->state[2];
++    D = ctx->state[3];
++
++#define F(x,y,z) (z ^ (x & (y ^ z)))
++
++    P( A, B, C, D,  0,  7, 0xD76AA478 );
++    P( D, A, B, C,  1, 12, 0xE8C7B756 );
++    P( C, D, A, B,  2, 17, 0x242070DB );
++    P( B, C, D, A,  3, 22, 0xC1BDCEEE );
++    P( A, B, C, D,  4,  7, 0xF57C0FAF );
++    P( D, A, B, C,  5, 12, 0x4787C62A );
++    P( C, D, A, B,  6, 17, 0xA8304613 );
++    P( B, C, D, A,  7, 22, 0xFD469501 );
++    P( A, B, C, D,  8,  7, 0x698098D8 );
++    P( D, A, B, C,  9, 12, 0x8B44F7AF );
++    P( C, D, A, B, 10, 17, 0xFFFF5BB1 );
++    P( B, C, D, A, 11, 22, 0x895CD7BE );
++    P( A, B, C, D, 12,  7, 0x6B901122 );
++    P( D, A, B, C, 13, 12, 0xFD987193 );
++    P( C, D, A, B, 14, 17, 0xA679438E );
++    P( B, C, D, A, 15, 22, 0x49B40821 );
++
++#undef F
++
++#define F(x,y,z) (y ^ (z & (x ^ y)))
++
++    P( A, B, C, D,  1,  5, 0xF61E2562 );
++    P( D, A, B, C,  6,  9, 0xC040B340 );
++    P( C, D, A, B, 11, 14, 0x265E5A51 );
++    P( B, C, D, A,  0, 20, 0xE9B6C7AA );
++    P( A, B, C, D,  5,  5, 0xD62F105D );
++    P( D, A, B, C, 10,  9, 0x02441453 );
++    P( C, D, A, B, 15, 14, 0xD8A1E681 );
++    P( B, C, D, A,  4, 20, 0xE7D3FBC8 );
++    P( A, B, C, D,  9,  5, 0x21E1CDE6 );
++    P( D, A, B, C, 14,  9, 0xC33707D6 );
++    P( C, D, A, B,  3, 14, 0xF4D50D87 );
++    P( B, C, D, A,  8, 20, 0x455A14ED );
++    P( A, B, C, D, 13,  5, 0xA9E3E905 );
++    P( D, A, B, C,  2,  9, 0xFCEFA3F8 );
++    P( C, D, A, B,  7, 14, 0x676F02D9 );
++    P( B, C, D, A, 12, 20, 0x8D2A4C8A );
++
++#undef F
++    
++#define F(x,y,z) (x ^ y ^ z)
++
++    P( A, B, C, D,  5,  4, 0xFFFA3942 );
++    P( D, A, B, C,  8, 11, 0x8771F681 );
++    P( C, D, A, B, 11, 16, 0x6D9D6122 );
++    P( B, C, D, A, 14, 23, 0xFDE5380C );
++    P( A, B, C, D,  1,  4, 0xA4BEEA44 );
++    P( D, A, B, C,  4, 11, 0x4BDECFA9 );
++    P( C, D, A, B,  7, 16, 0xF6BB4B60 );
++    P( B, C, D, A, 10, 23, 0xBEBFBC70 );
++    P( A, B, C, D, 13,  4, 0x289B7EC6 );
++    P( D, A, B, C,  0, 11, 0xEAA127FA );
++    P( C, D, A, B,  3, 16, 0xD4EF3085 );
++    P( B, C, D, A,  6, 23, 0x04881D05 );
++    P( A, B, C, D,  9,  4, 0xD9D4D039 );
++    P( D, A, B, C, 12, 11, 0xE6DB99E5 );
++    P( C, D, A, B, 15, 16, 0x1FA27CF8 );
++    P( B, C, D, A,  2, 23, 0xC4AC5665 );
++
++#undef F
++
++#define F(x,y,z) (y ^ (x | ~z))
++
++    P( A, B, C, D,  0,  6, 0xF4292244 );
++    P( D, A, B, C,  7, 10, 0x432AFF97 );
++    P( C, D, A, B, 14, 15, 0xAB9423A7 );
++    P( B, C, D, A,  5, 21, 0xFC93A039 );
++    P( A, B, C, D, 12,  6, 0x655B59C3 );
++    P( D, A, B, C,  3, 10, 0x8F0CCC92 );
++    P( C, D, A, B, 10, 15, 0xFFEFF47D );
++    P( B, C, D, A,  1, 21, 0x85845DD1 );
++    P( A, B, C, D,  8,  6, 0x6FA87E4F );
++    P( D, A, B, C, 15, 10, 0xFE2CE6E0 );
++    P( C, D, A, B,  6, 15, 0xA3014314 );
++    P( B, C, D, A, 13, 21, 0x4E0811A1 );
++    P( A, B, C, D,  4,  6, 0xF7537E82 );
++    P( D, A, B, C, 11, 10, 0xBD3AF235 );
++    P( C, D, A, B,  2, 15, 0x2AD7D2BB );
++    P( B, C, D, A,  9, 21, 0xEB86D391 );
++
++#undef F
++
++    ctx->state[0] += A;
++    ctx->state[1] += B;
++    ctx->state[2] += C;
++    ctx->state[3] += D;
++}
++
++void md5_update( md5_context *ctx, uchar *input, uint32 length )
++{
++    uint32 left, fill;
++
++    if( ! length ) return;
++
++    left = ctx->total[0] & 0x3F;
++    fill = 64 - left;
++
++    ctx->total[0] += length;
++    ctx->total[0] &= 0xFFFFFFFF;
++
++    if( ctx->total[0] < length )
++        ctx->total[1]++;
++
++    if( left && length >= fill )
++    {
++        memcpy( (void *) (ctx->buffer + left),
++                (void *) input, fill );
++        md5_process( ctx, ctx->buffer );
++        length -= fill;
++        input  += fill;
++        left = 0;
++    }
++
++    while( length >= 64 )
++    {
++        md5_process( ctx, input );
++        length -= 64;
++        input  += 64;
++    }
++
++    if( length )
++    {
++        memcpy( (void *) (ctx->buffer + left),
++                (void *) input, length );
++    }
++}
++
++static uchar md5_padding[64] =
++{
++ 0x80, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
++    0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
++    0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
++    0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0
++};
++
++void md5_finish( md5_context *ctx, uchar digest[16] )
++{
++    uint32 last, padn;
++    uint32 high, low;
++    uchar msglen[8];
++
++    high = ( ctx->total[0] >> 29 )
++         | ( ctx->total[1] <<  3 );
++    low  = ( ctx->total[0] <<  3 );
++
++    PUT_UINT32( low,  msglen, 0 );
++    PUT_UINT32( high, msglen, 4 );
++
++    last = ctx->total[0] & 0x3F;
++    padn = ( last < 56 ) ? ( 56 - last ) : ( 120 - last );
++
++    md5_update( ctx, md5_padding, padn );
++    md5_update( ctx, msglen, 8 );
++
++    PUT_UINT32( ctx->state[0], digest,  0 );
++    PUT_UINT32( ctx->state[1], digest,  4 );
++    PUT_UINT32( ctx->state[2], digest,  8 );
++    PUT_UINT32( ctx->state[3], digest, 12 );
++}
++
++#ifdef TEST
++
++#include <stdlib.h>
++#include <stdio.h>
++
++/*
++ * those are the standard RFC 1321 test vectors
++ */
++
++static char *msg[] = 
++{
++    "",
++    "a",
++    "abc",
++    "message digest",
++    "abcdefghijklmnopqrstuvwxyz",
++    "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789",
++    "12345678901234567890123456789012345678901234567890123456789012" \
++        "345678901234567890"
++};
++
++static char *val[] =
++{
++    "d41d8cd98f00b204e9800998ecf8427e",
++    "0cc175b9c0f1b6a831c399e269772661",
++    "900150983cd24fb0d6963f7d28e17f72",
++    "f96b697d7cb7938d525a2f31aaf161d0",
++    "c3fcd3d76192e4007dfb496cca67e13b",
++    "d174ab98d277d9f5a5611c2c9f419d9f",
++    "57edf4a22be3c955ac49da2e2107b67a"
++};
++
++int main( int argc, char *argv[] )
++{
++    FILE *f;
++    int i, j;
++    char output[33];
++    md5_context ctx;
++    unsigned char buf[1000];
++    unsigned char md5sum[16];
++
++    if( argc < 2 )
++    {
++        printf( "\n MD5 Validation Tests:\n\n" );
++
++        for( i = 0; i < 7; i++ )
++        {
++            printf( " Test %d ", i + 1 );
++
++            md5_starts( &ctx );
++            md5_update( &ctx, (uchar *) msg[i], strlen( msg[i] ) );
++            md5_finish( &ctx, md5sum );
++
++            for( j = 0; j < 16; j++ )
++            {
++                sprintf( output + j * 2, "%02x", md5sum[j] );
++            }
++
++            if( memcmp( output, val[i], 32 ) )
++            {
++                printf( "failed!\n" );
++                return( 1 );
++            }
++
++            printf( "passed.\n" );
++        }
++
++        printf( "\n" );
++    }
++    else
++    {
++        if( ! ( f = fopen( argv[1], "rb" ) ) )
++        {
++            perror( "fopen" );
++            return( 1 );
++        }
++
++        md5_starts( &ctx );
++
++        while( ( i = fread( buf, 1, sizeof( buf ), f ) ) > 0 )
++        {
++            md5_update( &ctx, buf, i );
++        }
++
++        md5_finish( &ctx, md5sum );
++
++        for( j = 0; j < 16; j++ )
++        {
++            printf( "%02x", md5sum[j] );
++        }
++
++        printf( "  %s\n", argv[1] );
++    }
++
++    return( 0 );
++}
++
++#endif
+--- orig/lib/md5.h     2005-06-14 02:35:26
++++ lib/md5.h  2005-06-14 02:35:26
+@@ -0,0 +1,14 @@
++#ifndef _MD5_H
++#define _MD5_H
++
++typedef struct {
++    uint32 total[2];
++    uint32 state[4];
++    uchar buffer[64];
++} md5_context;
++
++void md5_starts(md5_context *ctx);
++void md5_update(md5_context *ctx, uchar *input, uint32 length);
++void md5_finish(md5_context *ctx, uchar digest[16]);
++
++#endif /* md5.h */
+--- orig/options.c     2005-05-19 08:52:42
++++ options.c  2005-06-14 02:21:26
+@@ -107,6 +107,7 @@ int inplace = 0;
+ int delay_updates = 0;
+ long block_size = 0; /* "long" because popt can't set an int32. */
++int use_md5 = 0;
+ /** Network address family. **/
+ #ifdef INET6
+@@ -348,6 +349,7 @@ void usage(enum logcode F)
+   rprintf(F,"     --only-write-batch=FILE like --write-batch but w/o updating destination\n");
+   rprintf(F,"     --read-batch=FILE       read a batched update from FILE\n");
+   rprintf(F,"     --protocol=NUM          force an older protocol version to be used\n");
++  rprintf(F,"     --md5                   use MD5 checksums instead of MD4\n");
+ #ifdef INET6
+   rprintf(F," -4, --ipv4                  prefer IPv4\n");
+   rprintf(F," -6, --ipv6                  prefer IPv6\n");
+@@ -460,6 +462,7 @@ static struct poptOption long_options[] 
+   {"no-implied-dirs",  0,  POPT_ARG_VAL,    &implied_dirs, 0, 0, 0 },
+   {"protocol",         0,  POPT_ARG_INT,    &protocol_version, 0, 0, 0 },
+   {"checksum-seed",    0,  POPT_ARG_INT,    &checksum_seed, 0, 0, 0 },
++  {"md5",              0,  POPT_ARG_NONE,   &use_md5, 0, 0, 0 },
+ #ifdef INET6
+   {"ipv4",            '4', POPT_ARG_VAL,    &default_af_hint, AF_INET, 0, 0 },
+   {"ipv6",            '6', POPT_ARG_VAL,    &default_af_hint, AF_INET6, 0, 0 },
+@@ -1365,6 +1368,9 @@ void server_options(char **args,int *arg
+               args[ac++] = arg;
+       }
++      if (use_md5) 
++              args[ac++] = "--md5";
++
+       if (backup_dir) {
+               args[ac++] = "--backup-dir";
+               args[ac++] = backup_dir;