A patch to try to make really large files get handled without bogging
[rsync/rsync-patches.git] / openssl-support.diff
index d0b1650..101cdae 100644 (file)
@@ -1,10 +1,4 @@
-After applying this patch, run these commands for a successful build:
-
-    ./prepare-source
-    ./configure
-    make
-
-Casey Marshall writes:
+Casey Marshall wrote:
 
 I've been hacking together a way to use rsync with OpenSSL, and have
 attached my current patch against a recent CVS tree. The details of
@@ -34,83 +28,92 @@ this implementation are:
 All warnings apply; I don't do C programming all that often, so I
 can't say if I've left any cleanup/compatibility errors in the code.
 
+To use this patch, run these commands for a successful build:
+
+    patch -p1 <patches/openssl-support.diff
+    ./prepare-source
+    ./configure
+    make
 
 --- old/Makefile.in
 +++ new/Makefile.in
-@@ -38,7 +38,7 @@ OBJS3=progress.o pipe.o
+@@ -39,7 +39,7 @@ OBJS3=progress.o pipe.o
  DAEMON_OBJ = params.o loadparm.o clientserver.o access.o connection.o authenticate.o
  popt_OBJS=popt/findme.o  popt/popt.o  popt/poptconfig.o \
        popt/popthelp.o popt/poptparse.o
 -OBJS=$(OBJS1) $(OBJS2) $(OBJS3) $(DAEMON_OBJ) $(LIBOBJ) $(ZLIBOBJ) @BUILD_POPT@
 +OBJS=$(OBJS1) $(OBJS2) $(OBJS3) $(DAEMON_OBJ) $(LIBOBJ) $(ZLIBOBJ) @BUILD_POPT@ @SSL_OBJS@
  
- TLS_OBJ = tls.o syscall.o lib/compat.o lib/snprintf.o lib/permstring.o
+ TLS_OBJ = tls.o syscall.o lib/compat.o lib/snprintf.o lib/permstring.o lib/sysxattrs.o @BUILD_POPT@
  
 --- old/cleanup.c
 +++ new/cleanup.c
-@@ -26,6 +26,9 @@
+@@ -25,6 +25,9 @@
  extern int am_server;
  extern int am_daemon;
  extern int io_error;
-+#if HAVE_OPENSSL
++#ifdef HAVE_OPENSSL
 +extern int use_ssl;
 +#endif
  extern int keep_partial;
  extern int log_got_error;
  extern char *partial_dir;
-@@ -106,6 +109,11 @@ void _exit_cleanup(int code, const char 
-       SIGACTION(SIGUSR1, SIG_IGN);
-       SIGACTION(SIGUSR2, SIG_IGN);
+@@ -121,6 +124,14 @@ NORETURN void _exit_cleanup(int code, co
+                               code, file, line);
+               }
  
-+#if HAVE_OPENSSL
-+      if (use_ssl)
-+              end_tls();
++#ifdef HAVE_OPENSSL
++              /* FALLTHROUGH */
++#include "case_N.h"
++
++              if (use_ssl)
++                      end_tls();
 +#endif
 +
-       if (verbose > 3) {
-               rprintf(FINFO,"_exit_cleanup(code=%d, file=%s, line=%d): entered\n",
-                       code, file, line);
+               /* FALLTHROUGH */
+ #include "case_N.h"
 --- old/clientserver.c
 +++ new/clientserver.c
 @@ -29,6 +29,9 @@ extern int am_sender;
  extern int am_server;
  extern int am_daemon;
  extern int am_root;
-+#if HAVE_OPENSSL
++#ifdef HAVE_OPENSSL
 +extern int use_ssl;
 +#endif
  extern int rsync_port;
+ extern int ignore_errors;
  extern int kluge_around_eof;
- extern int daemon_over_rsh;
-@@ -105,8 +108,18 @@ int start_socket_client(char *host, char
+@@ -112,8 +115,18 @@ int start_socket_client(char *host, int 
        set_socket_options(fd, sockopts);
  
-       ret = start_inband_exchange(user, path, fd, fd, argc);
+       ret = start_inband_exchange(fd, fd, user, remote_argc, remote_argv);
 +      if (ret)
 +              return ret;
-+
-+#if HAVE_OPENSSL
+-      return ret ? ret : client_run(fd, fd, -1, argc, argv);
++#ifdef HAVE_OPENSSL
 +      if (use_ssl) {
 +              int f_in = get_tls_rfd();
 +              int f_out = get_tls_wfd();
 +              return client_run(f_in, f_out, -1, argc, argv);
 +      }
 +#endif
--      return ret ? ret : client_run(fd, fd, -1, argc, argv);
++
 +      return client_run(fd, fd, -1, argc, argv);
  }
  
- int start_inband_exchange(char *user, char *path, int f_in, int f_out,
-@@ -167,6 +180,33 @@ int start_inband_exchange(char *user, ch
+ static int exchange_protocols(int f_in, int f_out, char *buf, size_t bufsiz, int am_client)
+@@ -244,6 +257,32 @@ int start_inband_exchange(int f_in, int 
        if (verbose > 1)
-               print_child_argv(sargs);
+               print_child_argv("sending daemon args:", sargs);
  
-+#if HAVE_OPENSSL
++#ifdef HAVE_OPENSSL
 +      if (use_ssl) {
 +              io_printf(f_out, "#starttls\n");
 +              while (1) {
-+                      if (!read_line(f_in, line, sizeof(line)-1)) {
++                      if (!read_line_old(f_in, line, sizeof line)) {
 +                              rprintf(FERROR, "rsync: did not receive reply to #starttls\n");
 +                              return -1;
 +                      }
@@ -118,9 +121,8 @@ can't say if I've left any cleanup/compatibility errors in the code.
 +                              rprintf(FERROR, "%s\n", line);
 +                              return -1;
 +                      }
-+                      if (strcmp(line, "@RSYNCD: starttls") == 0) {
++                      if (strcmp(line, "@RSYNCD: starttls") == 0)
 +                              break;
-+                      }
 +                      rprintf(FINFO, "%s\n", line);
 +              }
 +              if (start_tls(f_in, f_out)) {
@@ -133,54 +135,46 @@ can't say if I've left any cleanup/compatibility errors in the code.
 +      }
 +#endif
 +
-       p = strchr(path,'/');
-       if (p) *p = 0;
+       p = strchr(path, '/');
+       if (p) *p = '\0';
        io_printf(f_out, "%s\n", path);
-@@ -195,6 +235,10 @@ int start_inband_exchange(char *user, ch
+@@ -272,6 +311,10 @@ int start_inband_exchange(int f_in, int 
                         * server to terminate the listing of modules.
                         * We don't want to go on and transfer
                         * anything; just exit. */
-+#if HAVE_OPENSSL
++#ifdef HAVE_OPENSSL
 +                      if (use_ssl)
 +                              end_tls();
 +#endif
                        exit(0);
                }
  
-@@ -202,6 +246,10 @@ int start_inband_exchange(char *user, ch
+@@ -279,6 +322,10 @@ int start_inband_exchange(int f_in, int 
                        rprintf(FERROR, "%s\n", line);
                        /* This is always fatal; the server will now
                         * close the socket. */
-+#if HAVE_OPENSSL
++#ifdef HAVE_OPENSSL
 +                      if (use_ssl)
 +                              end_tls();
 +#endif
                        return -1;
                }
  
-@@ -719,6 +767,7 @@ static void send_listing(int fd)
-               io_printf(fd,"@RSYNCD: EXIT\n");
- }
-+
- /* this is called when a connection is established to a client
-    and we want to start talking. The setup of the system is done from
-    here */
-@@ -777,6 +826,9 @@ int start_daemon(int f_in, int f_out)
-       if (protocol_version > remote_protocol)
-               protocol_version = remote_protocol;
+@@ -807,6 +854,9 @@ int start_daemon(int f_in, int f_out)
+       if (exchange_protocols(f_in, f_out, line, sizeof line, 0) < 0)
+               return -1;
  
-+#if HAVE_OPENSSL
++#ifdef HAVE_OPENSSL
 +retry:
 +#endif
        line[0] = 0;
-       if (!read_line(f_in, line, sizeof line - 1))
+       if (!read_line_old(f_in, line, sizeof line))
                return -1;
-@@ -788,6 +840,20 @@ int start_daemon(int f_in, int f_out)
+@@ -818,6 +868,20 @@ int start_daemon(int f_in, int f_out)
                return -1;
        }
  
-+#if HAVE_OPENSSL
++#ifdef HAVE_OPENSSL
 +      if (use_ssl && strcmp(line, "#starttls") == 0) {
 +              io_printf(f_out, "@RSYNCD: starttls\n");
 +              if (start_tls(f_in, f_out)) {
@@ -199,7 +193,7 @@ can't say if I've left any cleanup/compatibility errors in the code.
                io_printf(f_out, "@ERROR: Unknown command '%s'\n", line);
 --- old/configure.in
 +++ new/configure.in
-@@ -282,6 +282,21 @@ if test x"$enable_locale" != x"no"; then
+@@ -290,6 +290,21 @@ if test x"$enable_locale" != x"no"; then
        AC_DEFINE(CONFIG_LOCALE)
  fi
  
@@ -223,11 +217,11 @@ can't say if I've left any cleanup/compatibility errors in the code.
        *cygwin* ) AC_MSG_RESULT(yes)
 --- old/options.c
 +++ new/options.c
-@@ -172,6 +172,14 @@ int logfile_format_has_o_or_i = 0;
+@@ -182,6 +182,14 @@ int logfile_format_has_o_or_i = 0;
  int always_checksum = 0;
  int list_only = 0;
  
-+#if HAVE_OPENSSL
++#ifdef HAVE_OPENSSL
 +int use_ssl = 0;
 +char *ssl_cert_path = NULL;
 +char *ssl_key_path = NULL;
@@ -238,42 +232,40 @@ can't say if I've left any cleanup/compatibility errors in the code.
  #define MAX_BATCH_NAME_LEN 256        /* Must be less than MAXPATHLEN-13 */
  char *batch_name = NULL;
  
-@@ -200,6 +208,7 @@ static void print_rsync_version(enum log
-       char const *hardlinks = "no ";
+@@ -221,6 +229,7 @@ static void print_rsync_version(enum log
        char const *links = "no ";
+       char const *iconv = "no ";
        char const *ipv6 = "no ";
 +      char const *ssl = "no ";
        STRUCT_STAT *dumstat;
  
- #ifdef HAVE_SOCKETPAIR
-@@ -222,6 +231,10 @@ static void print_rsync_version(enum log
-       ipv6 = "";
+ #if SUBPROTOCOL_VERSION != 0
+@@ -250,6 +259,9 @@ static void print_rsync_version(enum log
+ #ifdef ICONV_OPTION
+       iconv = "";
  #endif
-+#if HAVE_OPENSSL
++#ifdef HAVE_OPENSSL
 +      ssl = "";
 +#endif
-+
-       rprintf(f, "%s  version %s  protocol version %d\n",
-               RSYNC_NAME, RSYNC_VERSION, PROTOCOL_VERSION);
-       rprintf(f, "Copyright (C) 1996-2006 by Andrew Tridgell, Wayne Davison, and others.\n");
-@@ -234,9 +247,9 @@ static void print_rsync_version(enum log
-       /* Note that this field may not have type ino_t.  It depends
-        * on the complicated interaction between largefile feature
-        * macros. */
--      rprintf(f, "              %sinplace, %sIPv6, "
-+      rprintf(f, "              %sinplace, %sIPv6, %sSSL, "
-               "%d-bit system inums, %d-bit internal inums\n",
--              have_inplace, ipv6,
-+              have_inplace, ipv6, ssl,
-               (int) (sizeof dumstat->st_ino * 8),
-               (int) (sizeof (int64) * 8));
+       rprintf(f, "%s  version %s  protocol version %d%s\n",
+               RSYNC_NAME, RSYNC_VERSION, PROTOCOL_VERSION, subprotocol);
+@@ -263,8 +275,8 @@ static void print_rsync_version(enum log
+               (int)(sizeof (int64) * 8));
+       rprintf(f, "    %ssocketpairs, %shardlinks, %ssymlinks, %sIPv6, batchfiles, %sinplace,\n",
+               got_socketpair, hardlinks, links, ipv6, have_inplace);
+-      rprintf(f, "    %sappend, %sACLs, %sxattrs, %siconv\n",
+-              have_inplace, acls, xattrs, iconv);
++      rprintf(f, "    %sappend, %sACLs, %sxattrs, %siconv, %sSSL\n",
++              have_inplace, acls, xattrs, iconv, ssl);
  #ifdef MAINTAINER_MODE
-@@ -378,6 +391,13 @@ void usage(enum logcode F)
+       rprintf(f, "Panic Action: \"%s\"\n", get_panic_action());
+@@ -425,6 +437,13 @@ void usage(enum logcode F)
+ #endif
    rprintf(F," -4, --ipv4                  prefer IPv4\n");
    rprintf(F," -6, --ipv6                  prefer IPv6\n");
- #endif
-+#if HAVE_OPENSSL
++#ifdef HAVE_OPENSSL
 +  rprintf(F,"     --ssl                   allow socket connections to use SSL\n");
 +  rprintf(F,"     --ssl-cert=FILE         path to daemon's SSL certificate\n");
 +  rprintf(F,"     --ssl-key=FILE          path to daemon's SSL private key\n");
@@ -283,20 +275,20 @@ can't say if I've left any cleanup/compatibility errors in the code.
    rprintf(F,"     --version               print version number\n");
    rprintf(F,"(-h) --help                  show this help (-h works with no other options)\n");
  
-@@ -390,7 +410,7 @@ enum {OPT_VERSION = 1000, OPT_DAEMON, OP
+@@ -438,7 +457,7 @@ enum {OPT_VERSION = 1000, OPT_DAEMON, OP
        OPT_FILTER, OPT_COMPARE_DEST, OPT_COPY_DEST, OPT_LINK_DEST, OPT_HELP,
        OPT_INCLUDE, OPT_INCLUDE_FROM, OPT_MODIFY_WINDOW, OPT_MIN_SIZE, OPT_CHMOD,
        OPT_READ_BATCH, OPT_WRITE_BATCH, OPT_ONLY_WRITE_BATCH, OPT_MAX_SIZE,
--      OPT_NO_D,
-+      OPT_NO_D, OPT_USE_SSL,
+-      OPT_NO_D, OPT_APPEND,
++      OPT_NO_D, OPT_APPEND, OPT_USE_SSL,
        OPT_SERVER, OPT_REFUSED_BASE = 9000};
  
  static struct poptOption long_options[] = {
-@@ -532,6 +552,13 @@ static struct poptOption long_options[] 
+@@ -623,6 +642,13 @@ static struct poptOption long_options[] 
    {"checksum-seed",    0,  POPT_ARG_INT,    &checksum_seed, 0, 0, 0 },
    {"server",           0,  POPT_ARG_NONE,   0, OPT_SERVER, 0, 0 },
    {"sender",           0,  POPT_ARG_NONE,   0, OPT_SENDER, 0, 0 },
-+#if HAVE_OPENSSL
++#ifdef HAVE_OPENSSL
 +  {"ssl",              0,  POPT_ARG_NONE,   0, OPT_USE_SSL, 0, 0},
 +  {"ssl-cert",         0,  POPT_ARG_STRING, &ssl_cert_path, OPT_USE_SSL, 0, 0},
 +  {"ssl-key",          0,  POPT_ARG_STRING, &ssl_key_path, OPT_USE_SSL, 0, 0},
@@ -306,24 +298,83 @@ can't say if I've left any cleanup/compatibility errors in the code.
    /* All the following options switch us into daemon-mode option-parsing. */
    {"config",           0,  POPT_ARG_STRING, 0, OPT_DAEMON, 0, 0 },
    {"daemon",           0,  POPT_ARG_NONE,   0, OPT_DAEMON, 0, 0 },
-@@ -1080,6 +1107,12 @@ int parse_arguments(int *argc, const cha
-                       usage(FINFO);
-                       exit_cleanup(0);
+@@ -648,6 +674,13 @@ static void daemon_usage(enum logcode F)
+   rprintf(F," -v, --verbose               increase verbosity\n");
+   rprintf(F," -4, --ipv4                  prefer IPv4\n");
+   rprintf(F," -6, --ipv6                  prefer IPv6\n");
++#ifdef HAVE_OPENSSL
++  rprintf(F,"     --ssl                   allow socket connections to use SSL\n");
++  rprintf(F,"     --ssl-cert=FILE         path to daemon's SSL certificate\n");
++  rprintf(F,"     --ssl-key=FILE          path to daemon's SSL private key\n");
++  rprintf(F,"     --ssl-key-passwd=PASS   password for PEM-encoded private key\n");
++  rprintf(F,"     --ssl-ca-certs=FILE     path to trusted CA certificates\n");
++#endif
+   rprintf(F,"     --help                  show this help screen\n");
+   rprintf(F,"\n");
+@@ -672,6 +705,13 @@ static struct poptOption long_daemon_opt
+   {"protocol",         0,  POPT_ARG_INT,    &protocol_version, 0, 0, 0 },
+   {"server",           0,  POPT_ARG_NONE,   &am_server, 0, 0, 0 },
+   {"temp-dir",        'T', POPT_ARG_STRING, &tmpdir, 0, 0, 0 },
++#ifdef HAVE_OPENSSL
++  {"ssl",              0,  POPT_ARG_NONE,   0, OPT_USE_SSL, 0, 0},
++  {"ssl-cert",         0,  POPT_ARG_STRING, &ssl_cert_path, OPT_USE_SSL, 0, 0},
++  {"ssl-key",          0,  POPT_ARG_STRING, &ssl_key_path, OPT_USE_SSL, 0, 0},
++  {"ssl-key-passwd",   0,  POPT_ARG_STRING, &ssl_key_passwd, OPT_USE_SSL, 0, 0},
++  {"ssl-ca-certs",     0,  POPT_ARG_STRING, &ssl_ca_path, OPT_USE_SSL, 0, 0},
++#endif
+   {"verbose",         'v', POPT_ARG_NONE,   0, 'v', 0, 0 },
+   {"no-verbose",       0,  POPT_ARG_VAL,    &verbose, 0, 0, 0 },
+   {"no-v",             0,  POPT_ARG_VAL,    &verbose, 0, 0, 0 },
+@@ -946,6 +986,12 @@ int parse_arguments(int *argc_p, const c
+                                       verbose++;
+                                       break;
  
++#ifdef HAVE_OPENSSL
++                              case OPT_USE_SSL:
++                                      use_ssl = 1;
++                                      break;
++#endif
++
+                               default:
+                                       rprintf(FERROR,
+                                           "rsync: %s: %s (in daemon mode)\n",
+@@ -969,6 +1015,17 @@ int parse_arguments(int *argc_p, const c
+                               exit_cleanup(RERR_SYNTAX);
+                       }
++#ifdef HAVE_OPENSSL
++                      if (use_ssl) {
++                              if (init_tls()) {
++                                      snprintf(err_buf, sizeof(err_buf),
++                                               "Openssl error: %s\n",
++                                               get_ssl_error());
++                                      return 0;
++                              }
++                      }
++#endif
++
+                       *argv_p = argv = poptGetArgs(pc);
+                       *argc_p = argc = count_args(argv);
+                       am_starting_up = 0;
+@@ -1221,6 +1278,12 @@ int parse_arguments(int *argc_p, const c
+                       return 0;
+ #endif
++#ifdef HAVE_OPENSSL
 +              case OPT_USE_SSL:
-+#if HAVE_OPENSSL
 +                      use_ssl = 1;
-+#endif
 +                      break;
++#endif
 +
                default:
                        /* A large opt value means that set_refuse_options()
                         * turned this option off. */
-@@ -1361,6 +1394,17 @@ int parse_arguments(int *argc, const cha
+@@ -1536,6 +1599,17 @@ int parse_arguments(int *argc_p, const c
        if (delay_updates && !partial_dir)
                partial_dir = tmp_partialdir;
  
-+#if HAVE_OPENSSL
++#ifdef HAVE_OPENSSL
 +      if (use_ssl) {
 +              if (init_tls()) {
 +                      snprintf(err_buf, sizeof(err_buf),
@@ -337,17 +388,17 @@ can't say if I've left any cleanup/compatibility errors in the code.
        if (inplace) {
  #ifdef HAVE_FTRUNCATE
                if (partial_dir) {
-@@ -1774,11 +1818,28 @@ char *check_for_hostspec(char *s, char *
- {
+@@ -2011,10 +2085,27 @@ char *check_for_hostspec(char *s, char *
        char *p;
        int not_host;
+       int hostlen;
 +      int url_prefix_len = sizeof URL_PREFIX - 1;
  
 -      if (port_ptr && strncasecmp(URL_PREFIX, s, strlen(URL_PREFIX)) == 0) {
 +      if (!port_ptr)
 +              url_prefix_len = 0;
 +      else if (strncasecmp(URL_PREFIX, s, url_prefix_len) != 0) {
-+#if HAVE_OPENSSL
++#ifdef HAVE_OPENSSL
 +              url_prefix_len = sizeof SSL_URL_PREFIX - 1;
 +              if (strncasecmp(SSL_URL_PREFIX, s, url_prefix_len) != 0)
 +                      url_prefix_len = 0;
@@ -362,7 +413,6 @@ can't say if I've left any cleanup/compatibility errors in the code.
 +      }
 +      if (url_prefix_len) {
                char *path;
-               int hostlen;
 -              s += strlen(URL_PREFIX);
 +              s += url_prefix_len;
                if ((p = strchr(s, '/')) != NULL) {
@@ -370,7 +420,7 @@ can't say if I've left any cleanup/compatibility errors in the code.
                        path = p + 1;
 --- old/rsync.h
 +++ new/rsync.h
-@@ -32,6 +32,7 @@
+@@ -31,6 +31,7 @@
  
  #define DEFAULT_LOCK_FILE "/var/run/rsyncd.lock"
  #define URL_PREFIX "rsync://"
@@ -378,21 +428,21 @@ can't say if I've left any cleanup/compatibility errors in the code.
  
  #define BACKUP_SUFFIX "~"
  
-@@ -413,6 +414,11 @@ enum msgcode {
+@@ -500,6 +501,11 @@ enum msgcode {
  # define SIZEOF_INT64 SIZEOF_OFF_T
  #endif
  
-+#if HAVE_OPENSSL
++#ifdef HAVE_OPENSSL
 +#include <openssl/ssl.h>
 +#include <openssl/err.h>
 +#endif
 +
- /* Starting from protocol version 26, we always use 64-bit
-  * ino_t and dev_t internally, even if this platform does not
-  * allow files to have 64-bit inums.  That's because the
+ struct hashtable {
+       void *nodes;
+       int32 size, entries;
 --- old/ssl.c
 +++ new/ssl.c
-@@ -0,0 +1,366 @@
+@@ -0,0 +1,370 @@
 +/* -*- c-file-style: "linux" -*-
 + * ssl.c: operations for negotiating SSL rsync connections. 
 + *
@@ -415,7 +465,7 @@ can't say if I've left any cleanup/compatibility errors in the code.
 +
 +#include "rsync.h"
 +
-+#if HAVE_SYS_SELECT_H
++#ifdef HAVE_SYS_SELECT_H
 +#include <sys/select.h>
 +#else
 +#include <sys/time.h>
@@ -442,6 +492,10 @@ can't say if I've left any cleanup/compatibility errors in the code.
 +static int ssl_running;
 +static int ssl_pid = -1;
 +
++#ifdef HAVE_SIGACTION
++static struct sigaction sigact;
++#endif
++
 +/**
 + * A non-interactive callback to be passed to SSL_CTX_set_default_password_cb,
 + * which merely copies the value of ssl_key_passwd into buf. This is
@@ -630,7 +684,7 @@ can't say if I've left any cleanup/compatibility errors in the code.
 +              return 0;
 +      }
 +
-+      signal(SIGUSR1, tls_sigusr1);
++      SIGACTION(SIGUSR1, tls_sigusr1);
 +      ssl = SSL_new(ssl_ctx);
 +      if (!ssl)
 +              goto closed;