for systems with a broken select use u_sleep() to ensure the write
[rsync/rsync.git] / util.c
diff --git a/util.c b/util.c
index 1c73394..927aa99 100644 (file)
--- a/util.c
+++ b/util.c
   */
 #include "rsync.h"
 
-static int total_written = 0;
-static int total_read = 0;
-
-extern int verbose;
-
-int write_total(void)
-{
-  return total_written;
-}
-
-int read_total(void)
-{
-  return total_read;
-}
-
-void write_int(int f,int x)
-{
-  char b[4];
-  SIVAL(b,0,x);
-  if (write(f,b,4) != 4) {
-    fprintf(stderr,"write_int failed : %s\n",strerror(errno));
-    exit(1);
-  }
-  total_written += 4;
-}
-
-void write_buf(int f,char *buf,int len)
-{
-  if (write(f,buf,len) != len) {
-    fprintf(stderr,"write_buf failed : %s\n",strerror(errno));
-    exit(1);
-  }
-  total_written += len;
-}
-
-static int num_waiting(int fd)
+int num_waiting(int fd)
 {
   int len=0;
-#ifdef FIONREAD
   ioctl(fd,FIONREAD,&len);
-#endif
   return(len);
 }
 
-static char *read_buffer = NULL;
-static char *read_buffer_p = NULL;
-static int read_buffer_len = 0;
-static int read_buffer_size = 0;
 
-
-void write_flush(int f)
+struct map_struct *map_file(int fd,off_t len)
 {
+  struct map_struct *ret;
+  ret = (struct map_struct *)malloc(sizeof(*ret));
+  if (!ret) out_of_memory("map_file");
+
+  ret->map = NULL;
+  ret->fd = fd;
+  ret->size = len;
+  ret->p = NULL;
+  ret->p_size = 0;
+  ret->p_offset = 0;
+  ret->p_len = 0;
+
+#ifdef HAVE_MMAP
+  if (len < MAX_MAP_SIZE)
+    ret->map = (char *)mmap(NULL,len,PROT_READ,MAP_SHARED,fd,0);
+#endif
+  return ret;
 }
 
-void read_check(int f)
+char *map_ptr(struct map_struct *map,off_t offset,int len)
 {
-  int n;
-
-  if (read_buffer_len == 0) {
-    read_buffer_p = read_buffer;
-  }
+  int nread = -2;
 
-  if ((n=num_waiting(f)) <= 0)
-    return;
+  if (map->map)
+    return map->map+offset;
 
-  if (read_buffer_p != read_buffer) {
-    memmove(read_buffer,read_buffer_p,read_buffer_len);
-    read_buffer_p = read_buffer;
-  }
+  if (len == 0) 
+    return NULL;
 
-  if (n > (read_buffer_size - read_buffer_len)) {
-    read_buffer_size += n;
-    if (!read_buffer)
-      read_buffer = (char *)malloc(read_buffer_size);
-    else
-      read_buffer = (char *)realloc(read_buffer,read_buffer_size);
-    if (!read_buffer) out_of_memory("read check");      
-    read_buffer_p = read_buffer;      
-  }
+  len = MIN(len,map->size-offset);
 
-  n = read(f,read_buffer+read_buffer_len,n);
-  if (n > 0) {
-    read_buffer_len += n;
+  if (offset >= map->p_offset && 
+      offset+len <= map->p_offset+map->p_len) {
+    return (map->p + (offset - map->p_offset));
   }
-}
-
-
-static int readfd(int fd,char *buffer,int N)
-{
-  int  ret;
-  int total=0;  
-  while (total < N)
-    {
-      if (read_buffer_len > 0) {
-       ret = MIN(read_buffer_len,N-total);
-       memcpy(buffer+total,read_buffer_p,ret);
-       read_buffer_p += ret;
-       read_buffer_len -= ret;
-      } else {
-       ret = read(fd,buffer + total,N - total);
-      }
-
-      if (ret <= 0)
-       return total;
-      total += ret;
-    }
-  return total;
-}
 
+  len = MAX(len,CHUNK_SIZE);
+  len = MIN(len,map->size - offset);  
 
-int read_int(int f)
-{
-  char b[4];
-  if (readfd(f,b,4) != 4) {
-    if (verbose > 1) 
-      fprintf(stderr,"Error reading %d bytes : %s\n",4,strerror(errno));
-    exit(1);
+  if (len > map->p_size) {
+    if (map->p) free(map->p);
+    map->p = (char *)malloc(len);
+    if (!map->p) out_of_memory("map_ptr");
+    map->p_size = len;
   }
-  total_read += 4;
-  return IVAL(b,0);
-}
 
-void read_buf(int f,char *buf,int len)
-{
-  if (readfd(f,buf,len) != len) {
-    if (verbose > 1) 
-      fprintf(stderr,"Error reading %d bytes : %s\n",len,strerror(errno));
-    exit(1);
+  if (lseek(map->fd,offset,SEEK_SET) != offset ||
+      (nread=read(map->fd,map->p,len)) != len) {
+         fprintf(FERROR,"EOF in map_ptr! (offset=%d len=%d nread=%d errno=%d)\n",
+                 (int)offset, len, nread, errno);
+         exit_cleanup(1);
   }
-  total_read += len;
-}
 
+  map->p_offset = offset;
+  map->p_len = len;
 
-char *map_file(int fd,off_t len)
-{
-  char *ret = (char *)mmap(NULL,len,PROT_READ,MAP_SHARED,fd,0);
-  return ret;
+  return map->p; 
 }
 
-void unmap_file(char *buf,off_t len)
-{
-  if (len > 0 && buf)
-    munmap(buf,len);
-}
 
-
-int read_write(int fd_in,int fd_out,int size)
+void unmap_file(struct map_struct *map)
 {
-  static char *buf=NULL;
-  static int bufsize = WRITE_BLOCK_SIZE;
-  int total=0;
-  
-  if (!buf) {
-    buf = (char *)malloc(bufsize);
-    if (!buf) out_of_memory("read_write");
-  }
-
-  while (total < size) {
-    int n = MIN(size-total,bufsize);
-    read_buf(fd_in,buf,n);
-    if (write(fd_out,buf,n) != n)
-      return total;
-    total += n;
-  }
-  return total;
+#ifdef HAVE_MMAP
+  if (map->map)
+    munmap(map->map,map->size);
+#endif
+  if (map->p) free(map->p);
+  free(map);
 }
 
 
@@ -202,36 +114,40 @@ int piped_child(char **command,int *f_in,int *f_out)
 
   if (pipe(to_child_pipe) < 0 ||
       pipe(from_child_pipe) < 0) {
-    fprintf(stderr,"pipe: %s\n",strerror(errno));
-    exit(1);
+    fprintf(FERROR,"pipe: %s\n",strerror(errno));
+    exit_cleanup(1);
   }
 
 
   pid = fork();
   if (pid < 0) {
-    fprintf(stderr,"fork: %s\n",strerror(errno));
-    exit(1);
+    fprintf(FERROR,"fork: %s\n",strerror(errno));
+    exit_cleanup(1);
   }
 
   if (pid == 0)
     {
+      extern int orig_umask;
       if (dup2(to_child_pipe[0], STDIN_FILENO) < 0 ||
          close(to_child_pipe[1]) < 0 ||
          close(from_child_pipe[0]) < 0 ||
          dup2(from_child_pipe[1], STDOUT_FILENO) < 0) {
-       fprintf(stderr,"Failed to dup/close : %s\n",strerror(errno));
-       exit(1);
+       fprintf(FERROR,"Failed to dup/close : %s\n",strerror(errno));
+       exit_cleanup(1);
       }
+      if (to_child_pipe[0] != STDIN_FILENO) close(to_child_pipe[0]);
+      if (from_child_pipe[1] != STDOUT_FILENO) close(from_child_pipe[1]);
+      umask(orig_umask);
       execvp(command[0], command);
-      fprintf(stderr,"Failed to exec %s : %s\n",
+      fprintf(FERROR,"Failed to exec %s : %s\n",
              command[0],strerror(errno));
-      exit(1);
+      exit_cleanup(1);
     }
 
   if (close(from_child_pipe[1]) < 0 ||
       close(to_child_pipe[0]) < 0) {
-    fprintf(stderr,"Failed to close : %s\n",strerror(errno));   
-    exit(1);
+    fprintf(FERROR,"Failed to close : %s\n",strerror(errno));   
+    exit_cleanup(1);
   }
 
   *f_in = from_child_pipe[0];
@@ -243,26 +159,15 @@ int piped_child(char **command,int *f_in,int *f_out)
 
 void out_of_memory(char *str)
 {
-  fprintf(stderr,"out of memory in %s\n",str);
-  exit(1);
+  fprintf(FERROR,"out of memory in %s\n",str);
+  exit_cleanup(1);
 }
 
 
-#ifndef HAVE_STRDUP
- char *strdup(char *s)
-{
-  int l = strlen(s) + 1;
-  char *ret = (char *)malloc(l);
-  if (ret)
-    strcpy(ret,s);
-  return ret;
-}
-#endif
-
 
 int set_modtime(char *fname,time_t modtime)
 {
-#ifdef HAVE_UTIME_H
+#ifdef HAVE_UTIMBUF
   struct utimbuf tbuf;  
   tbuf.actime = time(NULL);
   tbuf.modtime = modtime;
@@ -282,3 +187,168 @@ int set_modtime(char *fname,time_t modtime)
 #endif
 }
 
+
+
+/****************************************************************************
+Set a fd into blocking/nonblocking mode. Uses POSIX O_NONBLOCK if available,
+else
+if SYSV use O_NDELAY
+if BSD use FNDELAY
+****************************************************************************/
+int set_blocking(int fd, int set)
+{
+  int val;
+#ifdef O_NONBLOCK
+#define FLAG_TO_SET O_NONBLOCK
+#else
+#ifdef SYSV
+#define FLAG_TO_SET O_NDELAY
+#else /* BSD */
+#define FLAG_TO_SET FNDELAY
+#endif
+#endif
+
+  if((val = fcntl(fd, F_GETFL, 0)) == -1)
+       return -1;
+  if(set) /* Turn blocking on - ie. clear nonblock flag */
+       val &= ~FLAG_TO_SET;
+  else
+    val |= FLAG_TO_SET;
+  return fcntl( fd, F_SETFL, val);
+#undef FLAG_TO_SET
+}
+
+/****************************************************************************
+create any necessary directories in fname. Unfortunately we don't know
+what perms to give the directory when this is called so we need to rely
+on the umask
+****************************************************************************/
+int create_directory_path(char *fname)
+{
+       extern int orig_umask;
+       char *p;
+
+       while (*fname == '/') fname++;
+       while (strncmp(fname,"./",2)==0) fname += 2;
+
+       p = fname;
+       while ((p=strchr(p,'/'))) {
+               *p = 0;
+               mkdir(fname,0777 & ~orig_umask); 
+               *p = '/';
+               p++;
+       }
+       return 0;
+}
+
+
+/* Write LEN bytes at PTR to descriptor DESC, retrying if interrupted.
+   Return LEN upon success, write's (negative) error code otherwise.  
+
+   derived from GNU C's cccp.c.
+*/
+int full_write(int desc, char *ptr, int len)
+{
+       int total_written;
+       
+       total_written = 0;
+       while (len > 0) {
+               int written = write (desc, ptr, len);
+               if (written < 0)  {
+#ifdef EINTR
+                       if (errno == EINTR)
+                               continue;
+#endif
+                       return written;
+               }
+               total_written += written;
+               ptr += written;
+               len -= written;
+       }
+       return total_written;
+}
+
+/* Read LEN bytes at PTR from descriptor DESC, retrying if interrupted.
+   Return the actual number of bytes read, zero for EOF, or negative
+   for an error.  
+
+   derived from GNU C's cccp.c. */
+int safe_read(int desc, char *ptr, int len)
+{
+       int n_chars;
+       if (len <= 0)
+               return len;
+#ifdef EINTR
+       do {
+               n_chars = read(desc, ptr, len);
+       } while (n_chars < 0 && errno == EINTR);
+#else
+       n_chars = read(desc, ptr, len);
+#endif
+       return n_chars;
+}
+
+
+/* copy a file - this is used in conjunction with the --temp-dir option */
+int copy_file(char *source, char *dest, mode_t mode)
+{
+       int ifd;
+       int ofd;
+       char buf[1024 * 8];
+       int len;   /* Number of bytes read into `buf'. */
+
+       ifd = open(source, O_RDONLY);
+       if (ifd == -1) {
+               fprintf(FERROR,"open %s: %s\n",
+                       source,strerror(errno));
+               return -1;
+       }
+
+       if (unlink(dest) && errno != ENOENT) {
+               fprintf(FERROR,"unlink %s: %s\n",
+                       dest,strerror(errno));
+               return -1;
+       }
+
+       ofd = open(dest, O_WRONLY | O_CREAT | O_TRUNC | O_EXCL, mode);
+       if (ofd < 0) {
+               fprintf(FERROR,"open %s: %s\n",
+                       dest,strerror(errno));
+               close(ifd);
+               return -1;
+       }
+
+       while ((len = safe_read(ifd, buf, sizeof(buf))) > 0) {
+               if (full_write(ofd, buf, len) < 0) {
+                       fprintf(FERROR,"write %s: %s\n",
+                               dest,strerror(errno));
+                       close(ifd);
+                       close(ofd);
+                       return -1;
+               }
+       }
+
+       close(ifd);
+       close(ofd);
+
+       if (len < 0) {
+               fprintf(FERROR,"read %s: %s\n",
+                       source,strerror(errno));
+               return -1;
+       }
+
+       return 0;
+}
+
+/* sleep for a while via select */
+void u_sleep(int usec)
+{
+       struct timeval tv;
+
+       tv.tv_sec = 0;
+       tv.tv_usec = usec;
+       select(0, NULL, NULL, NULL, &tv);
+}