Doc.
[rsync/rsync.git] / io.c
diff --git a/io.c b/io.c
index b469d8b..6a7b679 100644 (file)
--- a/io.c
+++ b/io.c
@@ -1,6 +1,8 @@
-/* 
-   Copyright (C) Andrew Tridgell 1996
+/* -*- c-file-style: "linux" -*-
+   
+   Copyright (C) 1996-2001 by Andrew Tridgell 
    Copyright (C) Paul Mackerras 1996
+   Copyright (C) 2001 by Martin Pool <mbp@samba.org>
    
    This program is free software; you can redistribute it and/or modify
    it under the terms of the GNU General Public License as published by
 /* if no timeout is specified then use a 60 second select timeout */
 #define SELECT_TIMEOUT 60
 
-extern int bwlimit;
-
 static int io_multiplexing_out;
 static int io_multiplexing_in;
 static int multiplex_in_fd;
 static int multiplex_out_fd;
 static time_t last_io;
-static int eof_error=1;
+static int no_flush;
+
+extern int bwlimit;
 extern int verbose;
 extern int io_timeout;
 extern struct stats stats;
 
+
+/** Ignore EOF errors while reading a module listing if the remote
+    version is 24 or less. */
+int kludge_around_eof = False;
+
+
 static int io_error_fd = -1;
 
-static void read_loop(int fd, char *buf, int len);
+static void read_loop(int fd, char *buf, size_t len);
 
 static void check_timeout(void)
 {
        extern int am_server, am_daemon;
        time_t t;
+
+       err_list_push();
        
        if (!io_timeout) return;
 
@@ -59,7 +69,7 @@ static void check_timeout(void)
 
        if (last_io && io_timeout && (t-last_io) >= io_timeout) {
                if (!am_server && !am_daemon) {
-                       rprintf(FERROR,"io timeout after %d second - exiting\n", 
+                       rprintf(FERROR,"io timeout after %d seconds - exiting\n", 
                                (int)(t-last_io));
                }
                exit_cleanup(RERR_TIMEOUT);
@@ -76,10 +86,12 @@ void io_set_error_fd(int fd)
 static void read_error_fd(void)
 {
        char buf[200];
-       int n;
+       size_t n;
        int fd = io_error_fd;
        int tag, len;
 
+        /* io_error_fd is temporarily disabled -- is this meant to
+         * prevent indefinite recursion? */
        io_error_fd = -1;
 
        read_loop(fd, buf, 4);
@@ -91,7 +103,8 @@ static void read_error_fd(void)
 
        while (len) {
                n = len;
-               if (n > (sizeof(buf)-1)) n = sizeof(buf)-1;
+               if (n > (sizeof(buf)-1))
+                       n = sizeof(buf)-1;
                read_loop(fd, buf, n);
                rwrite((enum logcode)tag, buf, n);
                len -= n;
@@ -101,21 +114,68 @@ static void read_error_fd(void)
 }
 
 
-static int no_flush;
+static void whine_about_eof (void)
+{
+       /**
+          It's almost always an error to get an EOF when we're trying
+          to read from the network, because the protocol is
+          self-terminating.
+          
+          However, there is one unfortunate cases where it is not,
+          which is rsync <2.4.6 sending a list of modules on a
+          server, since the list is terminated by closing the socket.
+          So, for the section of the program where that is a problem
+          (start_socket_client), kludge_around_eof is True and we
+          just exit.
+       */
+
+       if (kludge_around_eof)
+               exit_cleanup (0);
+       else {
+               rprintf (FERROR,
+                        "%s: connection unexpectedly closed "
+                        "(%.0f bytes read so far)\n",
+                        RSYNC_NAME, (double)stats.total_read);
+       
+               exit_cleanup (RERR_STREAMIO);
+       }
+}
 
-/* read from a socket with IO timeout. return the number of
-   bytes read. If no bytes can be read then exit, never return
-   a number <= 0 */
-static int read_timeout(int fd, char *buf, int len)
+
+static void die_from_readerr (int err)
+{
+       /* this prevents us trying to write errors on a dead socket */
+       io_multiplexing_close();
+                               
+       rprintf(FERROR, "%s: read error: %s\n",
+               RSYNC_NAME, strerror (err));
+       exit_cleanup(RERR_STREAMIO);
+}
+
+
+/*!
+ * Read from a socket with IO timeout. return the number of bytes
+ * read. If no bytes can be read then exit, never return a number <= 0.
+ *
+ * TODO: If the remote shell connection fails, then current versions
+ * actually report an "unexpected EOF" error here.  Since it's a
+ * fairly common mistake to try to use rsh when ssh is required, we
+ * should trap that: if we fail to read any data at all, we should
+ * give a better explanation.  We can tell whether the connection has
+ * started by looking e.g. at whether the remote version is known yet.
+ */
+static int read_timeout (int fd, char *buf, size_t len)
 {
        int n, ret=0;
 
        io_flush();
 
        while (ret == 0) {
+               /* until we manage to read *something* */
                fd_set fds;
                struct timeval tv;
                int fd_count = fd+1;
+               int count;
 
                FD_ZERO(&fds);
                FD_SET(fd, &fds);
@@ -129,11 +189,16 @@ static int read_timeout(int fd, char *buf, int len)
 
                errno = 0;
 
-               if (select(fd_count, &fds, NULL, NULL, &tv) < 1) {
+               count = select(fd_count, &fds, NULL, NULL, &tv);
+
+               if (count == 0) {
+                       check_timeout();
+               }
+
+               if (count <= 0) {
                        if (errno == EBADF) {
                                exit_cleanup(RERR_SOCKETIO);
                        }
-                       check_timeout();
                        continue;
                }
 
@@ -152,38 +217,27 @@ static int read_timeout(int fd, char *buf, int len)
                        if (io_timeout)
                                last_io = time(NULL);
                        continue;
+               } else if (n == 0) {
+                       whine_about_eof ();
+                       return -1; /* doesn't return */
+               } else if (n == -1) {
+                       if (errno == EINTR || errno == EWOULDBLOCK ||
+                           errno == EAGAIN) 
+                               continue;
+                       else
+                               die_from_readerr (errno);
                }
-
-               if (n == -1 && errno == EINTR) {
-                       continue;
-               }
-
-               if (n == -1 && 
-                   (errno == EWOULDBLOCK || errno == EAGAIN)) {
-                       continue;
-               }
-
-
-               if (n == 0) {
-                       if (eof_error) {
-                               rprintf(FERROR,"unexpected EOF in read_timeout\n");
-                       }
-                       exit_cleanup(RERR_STREAMIO);
-               }
-
-               /* this prevents us trying to write errors on a dead socket */
-               io_multiplexing_close();
-
-               rprintf(FERROR,"read error: %s\n", strerror(errno));
-               exit_cleanup(RERR_STREAMIO);
        }
 
        return ret;
 }
 
-/* continue trying to read len bytes - don't return until len
-   has been read */
-static void read_loop(int fd, char *buf, int len)
+
+
+
+/*! Continue trying to read len bytes - don't return until len has
+  been read.   */
+static void read_loop (int fd, char *buf, size_t len)
 {
        while (len) {
                int n = read_timeout(fd, buf, len);
@@ -193,16 +247,20 @@ static void read_loop(int fd, char *buf, int len)
        }
 }
 
-/* read from the file descriptor handling multiplexing - 
-   return number of bytes read
-   never return <= 0 */
-static int read_unbuffered(int fd, char *buf, int len)
+
+/**
+ * Read from the file descriptor handling multiplexing - return number
+ * of bytes read.
+ * 
+ * Never returns <= 0. 
+ */
+static int read_unbuffered(int fd, char *buf, size_t len)
 {
-       static int remaining;
-       int tag, ret=0;
+       static size_t remaining;
+       int tag, ret = 0;
        char line[1024];
 
-       if (!io_multiplexing_in || fd != multiplex_in_fd) 
+       if (!io_multiplexing_in || fd != multiplex_in_fd)
                return read_timeout(fd, buf, len);
 
        while (ret == 0) {
@@ -220,17 +278,18 @@ static int read_unbuffered(int fd, char *buf, int len)
                remaining = tag & 0xFFFFFF;
                tag = tag >> 24;
 
-               if (tag == MPLEX_BASE) continue;
+               if (tag == MPLEX_BASE)
+                       continue;
 
                tag -= MPLEX_BASE;
 
                if (tag != FERROR && tag != FINFO) {
-                       rprintf(FERROR,"unexpected tag %d\n", tag);
+                       rprintf(FERROR, "unexpected tag %d\n", tag);
                        exit_cleanup(RERR_STREAMIO);
                }
 
-               if (remaining > sizeof(line)-1) {
-                       rprintf(FERROR,"multiplexing overflow %d\n\n", 
+               if (remaining > sizeof(line) - 1) {
+                       rprintf(FERROR, "multiplexing overflow %d\n\n",
                                remaining);
                        exit_cleanup(RERR_STREAMIO);
                }
@@ -238,7 +297,7 @@ static int read_unbuffered(int fd, char *buf, int len)
                read_loop(fd, line, remaining);
                line[remaining] = 0;
 
-               rprintf((enum logcode)tag,"%s", line);
+               rprintf((enum logcode) tag, "%s", line);
                remaining = 0;
        }
 
@@ -246,17 +305,18 @@ static int read_unbuffered(int fd, char *buf, int len)
 }
 
 
+
 /* do a buffered read from fd. don't return until all N bytes
    have been read. If all N can't be read then exit with an error */
-static void readfd(int fd,char *buffer,int N)
+static void readfd (int fd, char *buffer, size_t N)
 {
        int  ret;
-       int total=0;  
+       size_t total=0;  
        
        while (total < N) {
                io_flush();
 
-               ret = read_unbuffered(fd,buffer + total,N-total);
+               ret = read_unbuffered (fd, buffer + total, N-total);
                total += ret;
        }
 
@@ -299,32 +359,34 @@ int64 read_longint(int f)
        return ret;
 }
 
-void read_buf(int f,char *buf,int len)
+void read_buf(int f,char *buf,size_t len)
 {
        readfd(f,buf,len);
 }
 
-void read_sbuf(int f,char *buf,int len)
+void read_sbuf(int f,char *buf,size_t len)
 {
-       read_buf(f,buf,len);
+       read_buf (f,buf,len);
        buf[len] = 0;
 }
 
 unsigned char read_byte(int f)
 {
        unsigned char c;
-       read_buf(f,(char *)&c,1);
+       read_buf (f, (char *)&c, 1);
        return c;
 }
 
 /* write len bytes to fd */
-static void writefd_unbuffered(int fd,char *buf,int len)
+static void writefd_unbuffered(int fd,char *buf,size_t len)
 {
-       int total = 0;
+       size_t total = 0;
        fd_set w_fds, r_fds;
        int fd_count, count;
        struct timeval tv;
 
+       err_list_push();
+
        no_flush++;
 
        while (total < len) {
@@ -349,11 +411,14 @@ static void writefd_unbuffered(int fd,char *buf,int len)
                               &w_fds,NULL,
                               &tv);
 
+               if (count == 0) {
+                       check_timeout();
+               }
+
                if (count <= 0) {
                        if (errno == EBADF) {
                                exit_cleanup(RERR_SOCKETIO);
                        }
-                       check_timeout();
                        continue;
                }
 
@@ -362,8 +427,8 @@ static void writefd_unbuffered(int fd,char *buf,int len)
                }
 
                if (FD_ISSET(fd, &w_fds)) {
-                       int ret, n = len-total;
-                       
+                       int ret;
+                       size_t n = len-total;
                        ret = write(fd,buf+total,n);
 
                        if (ret == -1 && errno == EINTR) {
@@ -372,11 +437,15 @@ static void writefd_unbuffered(int fd,char *buf,int len)
 
                        if (ret == -1 && 
                            (errno == EWOULDBLOCK || errno == EAGAIN)) {
+                               msleep(1);
                                continue;
                        }
 
                        if (ret <= 0) {
-                               rprintf(FERROR,"erroring writing %d bytes - exiting\n", len);
+                               rprintf(FERROR,
+                                       "error writing %d unbuffered bytes"
+                                       " - exiting: %s\n", len,
+                                       strerror(errno));
                                exit_cleanup(RERR_STREAMIO);
                        }
 
@@ -418,10 +487,10 @@ void io_start_buffering(int fd)
 
 /* write an message to a multiplexed stream. If this fails then rsync
    exits */
-static void mplex_write(int fd, enum logcode code, char *buf, int len)
+static void mplex_write(int fd, enum logcode code, char *buf, size_t len)
 {
        char buffer[4096];
-       int n = len;
+       size_t n = len;
 
        SIVAL(buffer, 0, ((MPLEX_BASE + (int)code)<<24) + len);
 
@@ -444,6 +513,9 @@ static void mplex_write(int fd, enum logcode code, char *buf, int len)
 void io_flush(void)
 {
        int fd = multiplex_out_fd;
+
+       err_list_push();
+
        if (!io_buffer_count || no_flush) return;
 
        if (io_multiplexing_out) {
@@ -454,7 +526,8 @@ void io_flush(void)
        io_buffer_count = 0;
 }
 
-void io_end_buffering(int fd)
+
+void io_end_buffering(void)
 {
        io_flush();
        if (!io_multiplexing_out) {
@@ -463,17 +536,19 @@ void io_end_buffering(int fd)
        }
 }
 
-static void writefd(int fd,char *buf,int len)
+static void writefd(int fd,char *buf,size_t len)
 {
        stats.total_written += len;
 
+       err_list_push();
+
        if (!io_buffer || fd != multiplex_out_fd) {
                writefd_unbuffered(fd, buf, len);
                return;
        }
 
        while (len) {
-               int n = MIN(len, IO_BUFFER_SIZE-io_buffer_count);
+               int n = MIN((int) len, IO_BUFFER_SIZE-io_buffer_count);
                if (n > 0) {
                        memcpy(io_buffer+io_buffer_count, buf, n);
                        buf += n;
@@ -493,6 +568,11 @@ void write_int(int f,int32 x)
        writefd(f,b,4);
 }
 
+
+/*
+ * Note: int64 may actually be a 32-bit type if ./configure couldn't find any
+ * 64-bit types on this platform.
+ */
 void write_longint(int f, int64 x)
 {
        extern int remote_version;
@@ -510,7 +590,7 @@ void write_longint(int f, int64 x)
        writefd(f,b,8);
 }
 
-void write_buf(int f,char *buf,int len)
+void write_buf(int f,char *buf,size_t len)
 {
        writefd(f,buf,len);
 }
@@ -527,10 +607,10 @@ void write_byte(int f,unsigned char c)
        write_buf(f,(char *)&c,1);
 }
 
-int read_line(int f, char *buf, int maxlen)
-{
-       eof_error = 0;
 
+
+int read_line(int f, char *buf, size_t maxlen)
+{
        while (maxlen) {
                buf[0] = 0;
                read_buf(f, buf, 1);
@@ -549,8 +629,6 @@ int read_line(int f, char *buf, int maxlen)
                return 0;
        }
 
-       eof_error = 1;
-
        return 1;
 }
 
@@ -562,7 +640,7 @@ void io_printf(int fd, const char *format, ...)
        int len;
        
        va_start(ap, format);
-       len = vslprintf(buf, sizeof(buf), format, ap);
+       len = vsnprintf(buf, sizeof(buf), format, ap);
        va_end(ap);
 
        if (len < 0) exit_cleanup(RERR_STREAMIO);
@@ -589,7 +667,7 @@ void io_start_multiplex_in(int fd)
 }
 
 /* write an message to the multiplexed error stream */
-int io_multiplex_write(enum logcode code, char *buf, int len)
+int io_multiplex_write(enum logcode code, char *buf, size_t len)
 {
        if (!io_multiplexing_out) return 0;
 
@@ -599,14 +677,6 @@ int io_multiplex_write(enum logcode code, char *buf, int len)
        return 1;
 }
 
-/* write a message to the special error fd */
-int io_error_write(int f, enum logcode code, char *buf, int len)
-{
-       if (f == -1) return 0;
-       mplex_write(f, code, buf, len);
-       return 1;
-}
-
 /* stop output multiplexing */
 void io_multiplexing_close(void)
 {