Split code out into separate files and remove some global variables to
[rsync/rsync.git] / main.c
diff --git a/main.c b/main.c
index 2f422e2..b946e75 100644 (file)
--- a/main.c
+++ b/main.c
@@ -1,6 +1,8 @@
-/* 
-   Copyright (C) Andrew Tridgell 1996
+/* -*- c-file-style: "linux" -*-
+   
+   Copyright (C) 1996-2001 by Andrew Tridgell <tridge@samba.org>
    Copyright (C) Paul Mackerras 1996
+   Copyright (C) 2001, 2002 by Martin Pool <mbp@samba.org>
    
    This program is free software; you can redistribute it and/or modify
    it under the terms of the GNU General Public License as published by
 
 time_t starttime = 0;
 
-struct stats stats;
-
+extern struct stats stats;
 extern int verbose;
 
+static void show_malloc_stats(void);
+
+/****************************************************************************
+wait for a process to exit, calling io_flush while waiting
+****************************************************************************/
+void wait_process(pid_t pid, int *status)
+{
+       while (waitpid(pid, status, WNOHANG) == 0) {
+               msleep(20);
+               io_flush();
+       }
+        
+        /* TODO: If the child exited on a signal, then log an
+         * appropriate error message.  Perhaps we should also accept a
+         * message describing the purpose of the child.  Also indicate
+         * this to the caller so that thhey know something went
+         * wrong.  */
+       *status = WEXITSTATUS(*status);
+}
+
 static void report(int f)
 {
        time_t t = time(NULL);
@@ -35,6 +56,12 @@ static void report(int f)
        extern int remote_version;
        int send_stats;
 
+       if (do_stats) {
+               /* These come out from every process */
+               show_malloc_stats();
+               show_flist_stats();
+       }
+
        if (am_daemon) {
                log_exit(0, __FILE__, __LINE__);
                if (f == -1 || !am_sender) return;
@@ -105,15 +132,51 @@ static void report(int f)
 }
 
 
-static int do_cmd(char *cmd,char *machine,char *user,char *path,int *f_in,int *f_out)
+/**
+ * If our C library can get malloc statistics, then show them to FINFO
+ **/
+static void show_malloc_stats(void)
+{
+#ifdef HAVE_MALLINFO
+       struct mallinfo mi;
+       extern int am_server;
+       extern int am_sender;
+       extern int am_daemon;
+
+       mi = mallinfo();
+
+       rprintf(FINFO, RSYNC_NAME "[%d] (%s%s%s) heap statistics:\n",
+               getpid(),
+               am_server ? "server " : "",
+               am_daemon ? "daemon " : "",
+               am_sender ? "sender" : "receiver");
+       rprintf(FINFO, "  arena:     %10d   (bytes from sbrk)\n", mi.arena);
+       rprintf(FINFO, "  ordblks:   %10d   (chunks not in use)\n", mi.ordblks);
+       rprintf(FINFO, "  smblks:    %10d\n", mi.smblks);
+       rprintf(FINFO, "  hblks:     %10d   (chunks from mmap)\n", mi.hblks);
+       rprintf(FINFO, "  hblkhd:    %10d   (bytes from mmap)\n", mi.hblkhd);
+       rprintf(FINFO, "  usmblks:   %10d\n", mi.usmblks);
+       rprintf(FINFO, "  fsmblks:   %10d\n", mi.fsmblks);
+       rprintf(FINFO, "  uordblks:  %10d   (bytes used)\n", mi.uordblks);
+       rprintf(FINFO, "  fordblks:  %10d   (bytes free)\n", mi.fordblks);
+       rprintf(FINFO, "  keepcost:  %10d   (bytes in releasable chunk)\n", mi.keepcost);
+#endif /* HAVE_MALLINFO */
+}
+
+
+/* Start the remote shell.   cmd may be NULL to use the default. */
+static pid_t do_cmd(char *cmd,char *machine,char *user,char *path,int *f_in,int *f_out)
 {
        char *args[100];
-       int i,argc=0, ret;
+       int i,argc=0;
+       pid_t ret;
        char *tok,*dir=NULL;
        extern int local_server;
        extern char *rsync_path;
+       extern int blocking_io;
+       extern int read_batch;
 
-       if (!local_server) {
+       if (!read_batch && !local_server) {
                if (!cmd)
                        cmd = getenv(RSYNC_RSH_ENV);
                if (!cmd)
@@ -143,7 +206,11 @@ static int do_cmd(char *cmd,char *machine,char *user,char *path,int *f_in,int *f
 
                args[argc++] = rsync_path;
 
+               if ((blocking_io == -1) && (strcmp(cmd, RSYNC_RSH) == 0))
+                       blocking_io = 1;
+
                server_options(args,&argc);
+
        }
 
        args[argc++] = ".";
@@ -161,7 +228,9 @@ static int do_cmd(char *cmd,char *machine,char *user,char *path,int *f_in,int *f
        }
 
        if (local_server) {
-               ret = local_child(argc, args, f_in, f_out);
+               if (read_batch)
+                   create_flist_from_batch(); /* sets batch_flist */
+               ret = local_child(argc, args, f_in, f_out, child_main);
        } else {
                ret = piped_child(args,f_in,f_out);
        }
@@ -210,7 +279,8 @@ static char *get_local_name(struct file_list *flist,char *name)
                return name;
 
        if (do_mkdir(name,0777 & ~orig_umask) != 0) {
-               rprintf(FERROR,"mkdir %s : %s (1)\n",name,strerror(errno));
+               rprintf(FERROR, RSYNC_NAME ": mkdir %s: %s\n",
+                       name, strerror(errno));
                exit_cleanup(RERR_FILEIO);
        } else {
                if (verbose > 0)
@@ -218,8 +288,8 @@ static char *get_local_name(struct file_list *flist,char *name)
        }
 
        if (!push_dir(name, 0)) {
-               rprintf(FERROR,"push_dir %s : %s (2)\n",
-                       name,strerror(errno));
+               rprintf(FERROR, RSYNC_NAME ": push_dir %s: %s\n",
+                       name, strerror(errno));
                exit_cleanup(RERR_FILESELECT);
        }
 
@@ -236,6 +306,7 @@ static void do_server_sender(int f_in, int f_out, int argc,char *argv[])
        char *dir = argv[0];
        extern int relative_paths;
        extern int recurse;
+       extern int remote_version;
 
        if (verbose > 2)
                rprintf(FINFO,"server_sender starting pid=%d\n",(int)getpid());
@@ -267,7 +338,12 @@ static void do_server_sender(int f_in, int f_out, int argc,char *argv[])
        }
 
        send_files(flist,f_out,f_in);
+       io_flush();
        report(f_out);
+       if (remote_version >= 24) {
+               /* final goodbye message */             
+               read_int(f_in);
+       }
        io_flush();
        exit_cleanup(0);
 }
@@ -319,20 +395,21 @@ static int do_recv(int f_in,int f_out,struct file_list *flist,char *local_name)
                set_error_fd(error_pipe[1]);
 
                recv_files(f_in,flist,local_name,recv_pipe[1]);
+               io_flush();
                report(f_in);
 
                write_int(recv_pipe[1],1);
                close(recv_pipe[1]);
                io_flush();
                /* finally we go to sleep until our parent kills us
-                  with a USR2 signal. We sleepp for a short time as on
+                  with a USR2 signal. We sleep for a short time as on
                   some OSes a signal won't interrupt a sleep! */
-               while (1) sleep(1);
+               while (msleep(20))
+                       ;
        }
 
        close(recv_pipe[1]);
        close(error_pipe[1]);
-       io_close_input(f_in);
        if (f_in != f_out) close(f_in);
 
        io_start_buffering(f_out);
@@ -366,6 +443,8 @@ static void do_server_recv(int f_in, int f_out, int argc,char *argv[])
        extern int am_daemon;
        extern int module_id;
        extern int am_sender;
+       extern int read_batch;
+       extern struct file_list *batch_flist;
 
        if (verbose > 2)
                rprintf(FINFO,"server_recv(%d) starting pid=%d\n",argc,(int)getpid());
@@ -391,7 +470,10 @@ static void do_server_recv(int f_in, int f_out, int argc,char *argv[])
        if (delete_mode && !delete_excluded)
                recv_exclude_list(f_in);
 
-       flist = recv_file_list(f_in);
+       if (read_batch)
+           flist = batch_flist;
+       else
+           flist = recv_file_list(f_in);
        if (!flist) {
                rprintf(FERROR,"server_recv: recv_file_list error\n");
                exit_cleanup(RERR_FILESELECT);
@@ -410,11 +492,18 @@ static void do_server_recv(int f_in, int f_out, int argc,char *argv[])
 }
 
 
+void child_main(int argc, char *argv[])
+{
+       start_server(STDIN_FILENO, STDOUT_FILENO, argc, argv);
+}
+
+
 void start_server(int f_in, int f_out, int argc, char *argv[])
 {
        extern int cvs_exclude;
        extern int am_sender;
        extern int remote_version;
+       extern int read_batch;
 
        setup_protocol(f_out, f_in);
 
@@ -425,9 +514,11 @@ void start_server(int f_in, int f_out, int argc, char *argv[])
                io_start_multiplex_out(f_out);
 
        if (am_sender) {
-               recv_exclude_list(f_in);
-               if (cvs_exclude)
+               if (!read_batch) {
+                   recv_exclude_list(f_in);
+                   if (cvs_exclude)
                        add_cvs_excludes();
+               }
                do_server_sender(f_in, f_out, argc, argv);
        } else {
                do_server_recv(f_in, f_out, argc, argv);
@@ -435,14 +526,26 @@ void start_server(int f_in, int f_out, int argc, char *argv[])
        exit_cleanup(0);
 }
 
-int client_run(int f_in, int f_out, int pid, int argc, char *argv[])
+
+/*
+ * This is called once the connection has been negotiated.  It is used
+ * for rsyncd, remote-shell, and local connections.
+ */
+int client_run(int f_in, int f_out, pid_t pid, int argc, char *argv[])
 {
-       struct file_list *flist;
+       struct file_list *flist = NULL;
        int status = 0, status2 = 0;
        char *local_name = NULL;
        extern int am_sender;
-       extern int list_only;
        extern int remote_version;
+       extern pid_t cleanup_child_pid;
+       extern int write_batch;
+       extern int read_batch;
+       extern struct file_list *batch_flist;
+
+       cleanup_child_pid = pid;
+       if (read_batch)
+           flist = batch_flist;
 
        set_nonblocking(f_in);
        set_nonblocking(f_out);
@@ -460,32 +563,39 @@ int client_run(int f_in, int f_out, int pid, int argc, char *argv[])
                        add_cvs_excludes();
                if (delete_mode && !delete_excluded) 
                        send_exclude_list(f_out);
-               flist = send_file_list(f_out,argc,argv);
+               if (!read_batch) /*  dw -- don't write to pipe */
+                   flist = send_file_list(f_out,argc,argv);
                if (verbose > 3) 
                        rprintf(FINFO,"file list sent\n");
 
                send_files(flist,f_out,f_in);
+               if (remote_version >= 24) {
+                       /* final goodbye message */             
+                       read_int(f_in);
+               }
                if (pid != -1) {
                        if (verbose > 3)
-                               rprintf(FINFO,"client_run waiting on %d\n",pid);
+                               rprintf(FINFO,"client_run waiting on %d\n", (int) pid);
                        io_flush();
                        wait_process(pid, &status);
                }
                report(-1);
-               if (remote_version >= 24) {
-                       /* final goodbye message */             
-                       read_int(f_in);
-               }
                exit_cleanup(status);
        }
 
-       if (argc == 0) list_only = 1;
+       if (argc == 0) {
+               extern int list_only;
+               list_only = 1;
+       }
        
-       send_exclude_list(f_out);
+       if (!write_batch)
+           send_exclude_list(f_out);
        
        flist = recv_file_list(f_in);
        if (!flist || flist->count == 0) {
-               rprintf(FINFO,"client: nothing to do\n");
+               rprintf(FINFO, "client: nothing to do: "
+                        "perhaps you need to specify some filenames or "
+                        "the --recursive option?\n");
                exit_cleanup(0);
        }
        
@@ -495,12 +605,12 @@ int client_run(int f_in, int f_out, int pid, int argc, char *argv[])
        
        if (pid != -1) {
                if (verbose > 3)
-                       rprintf(FINFO,"client_run2 waiting on %d\n",pid);
+                       rprintf(FINFO,"client_run2 waiting on %d\n", (int) pid);
                io_flush();
                wait_process(pid, &status);
        }
        
-       return status | status2;
+       return MAX(status, status2);
 }
 
 static char *find_colon(char *s)
@@ -518,18 +628,53 @@ static char *find_colon(char *s)
        return p;
 }
 
+
+static int copy_argv (char *argv[])
+{
+       int i;
+
+       for (i = 0; argv[i]; i++) {
+               if (!(argv[i] = strdup(argv[i]))) {
+                       rprintf (FERROR, "out of memory at %s(%d)\n",
+                                __FILE__, __LINE__);
+                       return RERR_MALLOC;
+               }
+       }
+
+       return 0;
+}
+
+
+/**
+ * Start a client for either type of remote connection.  Work out
+ * whether the arguments request a remote shell or rsyncd connection,
+ * and call the appropriate connection function, then run_client.
+ *
+ * Calls either start_socket_client (for sockets) or do_cmd and
+ * client_run (for ssh).
+ **/
 static int start_client(int argc, char *argv[])
 {
        char *p;
        char *shell_machine = NULL;
        char *shell_path = NULL;
        char *shell_user = NULL;
-       int pid, ret;
+       int ret;
+       pid_t pid;
        int f_in,f_out;
        extern int local_server;
        extern int am_sender;
        extern char *shell_cmd;
        extern int rsync_port;
+       extern int whole_file;
+       extern int write_batch;
+       extern int read_batch;
+       int rc;
+
+       /* Don't clobber argv[] so that ps(1) can still show the right
+           command line. */
+       if ((rc = copy_argv (argv)))
+               return rc;
 
        if (strncasecmp(URL_PREFIX, argv[0], strlen(URL_PREFIX)) == 0) {
                char *host, *path;
@@ -550,10 +695,11 @@ static int start_client(int argc, char *argv[])
                return start_socket_client(host, path, argc-1, argv+1);
        }
 
-       p = find_colon(argv[0]);
+       if (!read_batch) {
+           p = find_colon(argv[0]);
 
        if (p) {
-               if (p[1] == ':') {
+               if (p[1] == ':') { /* double colon */
                        *p = 0;
                        return start_socket_client(argv[0], p+2, argc-1, argv+1);
                }
@@ -595,7 +741,12 @@ static int start_client(int argc, char *argv[])
                }
                argc--;
        }
-       
+       } else {
+           am_sender = 1;
+           local_server = 1;
+           shell_path = argv[argc-1];
+       }
+
        if (shell_machine) {
                p = strchr(shell_machine,'@');
                if (p) {
@@ -617,6 +768,11 @@ static int start_client(int argc, char *argv[])
                usage(FERROR);
                exit_cleanup(RERR_SYNTAX);
        }
+
+       if (argc == 0 && !am_sender) {
+               extern int list_only;
+               list_only = 1;
+       }
        
        pid = do_cmd(shell_cmd,shell_machine,shell_user,shell_path,&f_in,&f_out);
        
@@ -629,14 +785,55 @@ static int start_client(int argc, char *argv[])
 }
 
 
-static RETSIGTYPE sigusr1_handler(int val) {
+static RETSIGTYPE sigusr1_handler(int UNUSED(val)) {
        exit_cleanup(RERR_SIGNAL);
 }
 
-static RETSIGTYPE sigusr2_handler(int val) {
+static RETSIGTYPE sigusr2_handler(int UNUSED(val)) {
+       extern int log_got_error;
+       if (log_got_error) _exit(RERR_PARTIAL);
        _exit(0);
 }
 
+static RETSIGTYPE sigchld_handler(int UNUSED(val)) {
+#ifdef WNOHANG
+       while (waitpid(-1, NULL, WNOHANG) > 0) ;
+#endif
+}
+
+
+/**
+ * This routine catches signals and tries to send them to gdb.
+ *
+ * Because it's called from inside a signal handler it ought not to
+ * use too many library routines.
+ *
+ * @todo Perhaps use "screen -X" instead/as well, to help people
+ * debugging without easy access to X.  Perhaps use an environment
+ * variable, or just call a script?
+ *
+ * @todo The /proc/ magic probably only works on Linux (and
+ * Solaris?)  Can we be more portable?
+ **/
+#ifdef MAINTAINER_MODE
+static RETSIGTYPE rsync_panic_handler(int UNUSED(whatsig))
+{
+       char cmd_buf[300];
+       int ret;
+       sprintf(cmd_buf, 
+               "xterm -display :0 -T Panic -n Panic "
+               "-e gdb /proc/%d/exe %d", 
+               getpid(), getpid());
+
+       /* Unless we failed to execute gdb, we allow the process to
+        * continue.  I'm not sure if that's right. */
+       ret = system(cmd_buf);
+       if (ret)
+               _exit(ret);
+}
+#endif
+
+
 int main(int argc,char *argv[])
 {       
        extern int am_root;
@@ -644,9 +841,23 @@ int main(int argc,char *argv[])
        extern int dry_run;
        extern int am_daemon;
        extern int am_server;
+       int ret;
+       extern int write_batch;
+       int orig_argc;
+       char **orig_argv;
+
+       orig_argc = argc;
+       orig_argv = argv;
 
        signal(SIGUSR1, sigusr1_handler);
        signal(SIGUSR2, sigusr2_handler);
+       signal(SIGCHLD, sigchld_handler);
+#ifdef MAINTAINER_MODE
+       signal(SIGSEGV, rsync_panic_handler);
+       signal(SIGFPE, rsync_panic_handler);
+       signal(SIGABRT, rsync_panic_handler);
+       signal(SIGBUS, rsync_panic_handler);
+#endif /* def MAINTAINER_MODE */
 
        starttime = time(NULL);
        am_root = (getuid() == 0);
@@ -662,26 +873,31 @@ int main(int argc,char *argv[])
           carried across */
        orig_umask = (int)umask(0);
 
-       if (!parse_arguments(argc, argv, 1)) {
+       if (!parse_arguments(&argc, (const char ***) &argv, 1)) {
+                /* FIXME: We ought to call the same error-handling
+                 * code here, rather than relying on getopt. */
+               option_error();
                exit_cleanup(RERR_SYNTAX);
        }
 
-       argc -= optind;
-       argv += optind;
-       optind = 0;
-
-       signal(SIGCHLD,SIG_IGN);
        signal(SIGINT,SIGNAL_CAST sig_int);
-       signal(SIGPIPE,SIGNAL_CAST sig_int);
        signal(SIGHUP,SIGNAL_CAST sig_int);
        signal(SIGTERM,SIGNAL_CAST sig_int);
 
+       /* Ignore SIGPIPE; we consistently check error codes and will
+        * see the EPIPE. */
+       signal(SIGPIPE, SIG_IGN);
+
        /* Initialize push_dir here because on some old systems getcwd
           (implemented by forking "pwd" and reading its output) doesn't
           work when there are other child processes.  Also, on all systems
           that implement getcwd that way "pwd" can't be found after chroot. */
        push_dir(NULL,0);
 
+       if (write_batch && !am_server) {
+           write_batch_argvs_file(orig_argc, orig_argv);
+       }
+
        if (am_daemon) {
                return daemon_main();
        }
@@ -707,6 +923,12 @@ int main(int argc,char *argv[])
                start_server(STDIN_FILENO, STDOUT_FILENO, argc, argv);
        }
 
-       return start_client(argc, argv);
-}
+       ret = start_client(argc, argv);
+       if (ret == -1) 
+               exit_cleanup(RERR_STARTCLIENT);
+       else
+               exit_cleanup(ret);
 
+       exit(ret);
+       /* NOTREACHED */
+}