Changed the *_abbbrevint() functions to *_varint().
[rsync/rsync.git] / io.c
diff --git a/io.c b/io.c
index 7bf0afc..2557440 100644 (file)
--- a/io.c
+++ b/io.c
@@ -4,12 +4,11 @@
  * Copyright (C) 1996-2001 Andrew Tridgell
  * Copyright (C) 1996 Paul Mackerras
  * Copyright (C) 2001, 2002 Martin Pool <mbp@samba.org>
- * Copyright (C) 2003, 2004, 2005, 2006 Wayne Davison
+ * Copyright (C) 2003-2007 Wayne Davison
  *
  * This program is free software; you can redistribute it and/or modify
- * it under the terms of the GNU General Public License as published by
- * the Free Software Foundation; either version 2 of the License, or
- * (at your option) any later version.
+ * it under the terms of the GNU General Public License version 2 as
+ * published by the Free Software Foundation.
  *
  * This program is distributed in the hope that it will be useful,
  * but WITHOUT ANY WARRANTY; without even the implied warranty of
@@ -41,7 +40,7 @@ extern int am_server;
 extern int am_daemon;
 extern int am_sender;
 extern int am_generator;
-extern int incremental;
+extern int inc_recurse;
 extern int io_error;
 extern int eol_nulls;
 extern int flist_eof;
@@ -58,7 +57,7 @@ extern struct file_list *cur_flist, *first_flist;
 const char phase_unknown[] = "unknown";
 int ignore_timeout = 0;
 int batch_fd = -1;
-int done_cnt = 0;
+int msgdone_cnt = 0;
 
 /* Ignore an EOF error if non-zero. See whine_about_eof(). */
 int kluge_around_eof = 0;
@@ -101,10 +100,10 @@ static int active_filecnt = 0;
 static OFF_T active_bytecnt = 0;
 
 static char int_byte_cnt[64] = {
-       3, 3, 3, 3, 3, 3, 3, 3, 3, 3, 3, 3, 3, 3, 3, 3, /* (00 - 3F)/4 */
-       3, 3, 3, 3, 3, 3, 3, 3, 3, 3, 3, 3, 3, 3, 3, 3, /* (40 - 7F)/4 */
-       4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, /* (80 - BF)/4 */
-       5, 5, 5, 5, 5, 5, 5, 5, 6, 6, 6, 6, 7, 7, 8, 9, /* (C0 - FF)/4 */
+       1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, /* (00 - 3F)/4 */
+       1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, /* (40 - 7F)/4 */
+       2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, /* (80 - BF)/4 */
+       3, 3, 3, 3, 3, 3, 3, 3, 4, 4, 4, 4, 5, 5, 6, 7, /* (C0 - FF)/4 */
 };
 
 static void readfd(int fd, char *buffer, size_t N);
@@ -288,14 +287,18 @@ static void read_msg_fd(void)
 
        switch (tag) {
        case MSG_DONE:
-               if (len != 0 || !am_generator) {
+               if (len < 0 || len > 1 || !am_generator) {
                  invalid_msg:
                        rprintf(FERROR, "invalid message %d:%d [%s%s]\n",
                                tag, len, who_am_i(),
-                               incremental ? "/incremental" : "");
+                               inc_recurse ? "/inc" : "");
                        exit_cleanup(RERR_STREAMIO);
                }
-               done_cnt++;
+               if (len) {
+                       readfd(fd, buf, len);
+                       stats.total_read = read_longint(fd);
+               }
+               msgdone_cnt++;
                break;
        case MSG_REDO:
                if (len != 4 || !am_generator)
@@ -304,11 +307,11 @@ static void read_msg_fd(void)
                if (remove_source_files)
                        decrement_active_files(IVAL(buf,0));
                flist_ndx_push(&redo_list, IVAL(buf,0));
-               if (incremental)
+               if (inc_recurse)
                        decrement_flist_in_progress(IVAL(buf,0), 1);
                break;
        case MSG_FLIST:
-               if (len != 4 || !am_generator || !incremental)
+               if (len != 4 || !am_generator || !inc_recurse)
                        goto invalid_msg;
                readfd(fd, buf, 4);
                /* Read extra file list from receiver. */
@@ -318,7 +321,7 @@ static void read_msg_fd(void)
                flist->parent_ndx = IVAL(buf,0);
                break;
        case MSG_FLIST_EOF:
-               if (len != 0 || !am_generator || !incremental)
+               if (len != 0 || !am_generator || !inc_recurse)
                        goto invalid_msg;
                flist_eof = 1;
                break;
@@ -338,14 +341,14 @@ static void read_msg_fd(void)
                }
                if (preserve_hard_links)
                        flist_ndx_push(&hlink_list, IVAL(buf,0));
-               if (incremental)
+               if (inc_recurse)
                        decrement_flist_in_progress(IVAL(buf,0), 0);
                break;
        case MSG_NO_SEND:
                if (len != 4 || !am_generator)
                        goto invalid_msg;
                readfd(fd, buf, len);
-               if (incremental)
+               if (inc_recurse)
                        decrement_flist_in_progress(IVAL(buf,0), 0);
                break;
        case MSG_SOCKERR:
@@ -386,16 +389,15 @@ void increment_active_files(int ndx, int itemizing, enum logcode code)
 {
        /* TODO: tune these limits? */
        while (active_filecnt >= (active_bytecnt >= 128*1024 ? 10 : 50)) {
-#ifdef SUPPORT_HARD_LINKS
-               if (hlink_list.head)
-                       check_for_finished_hlinks(itemizing, code);
-#endif
-               io_flush(NORMAL_FLUSH);
-               read_msg_fd();
+               check_for_finished_files(itemizing, code, 0);
+               if (iobuf_out_cnt)
+                       io_flush(NORMAL_FLUSH);
+               else
+                       read_msg_fd();
        }
 
        active_filecnt++;
-       active_bytecnt += F_LENGTH(cur_flist->files[ndx]);
+       active_bytecnt += F_LENGTH(cur_flist->files[ndx - cur_flist->ndx_start]);
 }
 
 static void decrement_active_files(int ndx)
@@ -481,8 +483,10 @@ void send_msg_int(enum msgcode code, int num)
 
 void wait_for_receiver(void)
 {
-       io_flush(NORMAL_FLUSH);
-       read_msg_fd();
+       if (iobuf_out_cnt)
+               io_flush(NORMAL_FLUSH);
+       else
+               read_msg_fd();
 }
 
 int get_redo_num(void)
@@ -597,8 +601,10 @@ static int read_timeout(int fd, char *buf, size_t len)
                count = select(maxfd + 1, &r_fds, &w_fds, NULL, &tv);
 
                if (count <= 0) {
-                       if (errno == EBADF)
+                       if (errno == EBADF) {
+                               defer_forwarding_messages = 0;
                                exit_cleanup(RERR_SOCKETIO);
+                       }
                        check_timeout();
                        continue;
                }
@@ -798,9 +804,10 @@ void io_end_buffering_out(void)
        iobuf_f_out = -1;
 }
 
-void maybe_flush_socket(void)
+void maybe_flush_socket(int important)
 {
-       if (iobuf_out && iobuf_out_cnt && time(NULL) - last_io_out >= 5)
+       if (iobuf_out && iobuf_out_cnt
+        && (important || time(NULL) - last_io_out >= 5))
                io_flush(NORMAL_FLUSH);
 }
 
@@ -991,6 +998,37 @@ unsigned short read_shortint(int f)
        return (UVAL(b, 1) << 8) + UVAL(b, 0);
 }
 
+int32 read_varint(int f)
+{
+       int32 num;
+       char b[5];
+       int cnt;
+       readfd(f, b, 1);
+       cnt = int_byte_cnt[CVAL(b, 0) / 4];
+       if (cnt > 1)
+               readfd(f, b + 1, cnt - 1);
+       switch (cnt) {
+       case 1:
+               num = NVAL1(b, 0);
+               break;
+       case 2:
+               num = NVAL2(b, 0x80);
+               break;
+       case 3:
+               num = NVAL3(b, 0xC0);
+               break;
+       case 4:
+               num = NVAL4(b, 0xE0);
+               break;
+       case 5:
+               num = NVAL4(b+1, 0);
+               break;
+       default:
+               exit_cleanup(RERR_PROTOCOL); /* impossible... */
+       }
+       return num;
+}
+
 int32 read_int(int f)
 {
        char b[4];
@@ -1026,7 +1064,7 @@ int64 read_longint(int f)
        } else {
                int cnt;
                readfd(f, b, 3);
-               cnt = int_byte_cnt[CVAL(b, 0) / 4];
+               cnt = int_byte_cnt[CVAL(b, 0) / 4] + 2;
 #if SIZEOF_INT64 < 8
                if (cnt > 5 || (cnt == 5 && (CVAL(b,0)&0x3F || CVAL(b,1)&0x80))) {
                        rprintf(FERROR, "Integer overflow: attempted 64-bit offset\n");
@@ -1121,7 +1159,7 @@ void read_sum_head(int f, struct sum_struct *sum)
                exit_cleanup(RERR_PROTOCOL);
        }
        sum->s2length = protocol_version < 27 ? csum_length : (int)read_int(f);
-       if (sum->s2length < 0 || sum->s2length > MD4_SUM_LENGTH) {
+       if (sum->s2length < 0 || sum->s2length > MAX_DIGEST_LEN) {
                rprintf(FERROR, "Invalid checksum length %d [%s]\n",
                        sum->s2length, who_am_i());
                exit_cleanup(RERR_PROTOCOL);
@@ -1282,6 +1320,9 @@ static void writefd_unbuffered(int fd, const char *buf, size_t len)
                        /* Don't try to write errors back across the stream. */
                        if (fd == sock_f_out)
                                io_end_multiplex_out();
+                       /* Don't try to write errors down a failing msg pipe. */
+                       if (am_server && fd == msg_fd_out)
+                               exit_cleanup(RERR_STREAMIO);
                        rsyserr(FERROR, errno,
                                "writefd_unbuffered failed to write %ld bytes [%s]",
                                (long)len, who_am_i());
@@ -1363,6 +1404,37 @@ void write_shortint(int f, unsigned short x)
        writefd(f, b, 2);
 }
 
+void write_varint(int f, int32 x)
+{
+       char b[5];
+       if ((uint32)x < ((uint32)1<<(1*8-1))) {
+               b[0] = (char)x;
+               writefd(f, b, 1);
+       } else if ((uint32)x < ((uint32)1<<(2*8-2))) {
+               b[0] = (char)(x >> 8) | 0x80;
+               b[1] = (char)x;
+               writefd(f, b, 2);
+       } else if ((uint32)x < ((uint32)1<<(3*8-3))) {
+               b[0] = (char)(x >> 16) | 0xC0;
+               b[1] = (char)(x >> 8);
+               b[2] = (char)x;
+               writefd(f, b, 3);
+       } else if ((uint32)x < ((uint32)1<<(4*8-4))) {
+               b[0] = (char)(x >> 24) | 0xE0;
+               b[1] = (char)(x >> 16);
+               b[2] = (char)(x >> 8);
+               b[3] = (char)x;
+               writefd(f, b, 4);
+       } else {
+               b[0] = 0xF0;
+               b[1] = (char)(x >> 24);
+               b[2] = (char)(x >> 16);
+               b[3] = (char)(x >> 8);
+               b[4] = (char)x;
+               writefd(f, b, 5);
+       }
+}
+
 void write_int(int f, int32 x)
 {
        char b[4];