rsync.c

   1 /*
   2  * Routines common to more than one of the rsync processes.
   3  *
   4  * Copyright (C) 1996 Andrew Tridgell
   5  * Copyright (C) 1996 Paul Mackerras
   6  * Copyright (C) 2003-2007 Wayne Davison
   7  *
   8  * This program is free software; you can redistribute it and/or modify
   9  * it under the terms of the GNU General Public License version 2 as
  10  * published by the Free Software Foundation.
  11  *
  12  * This program is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15  * GNU General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU General Public License along
  18  * with this program; if not, write to the Free Software Foundation, Inc.,
  19  * 51 Franklin Street - Fifth Floor, Boston, MA 02110-1301, USA.
  20  */
  21
  22 #include "rsync.h"
  23 #if defined HAVE_LIBCHARSET_H && defined HAVE_LOCALE_CHARSET
  24 #include <libcharset.h>
  25 #elif defined HAVE_LANGINFO_H && defined HAVE_NL_LANGINFO
  26 #include <langinfo.h>
  27 #endif
  28
  29 extern int verbose;
  30 extern int dry_run;
  31 extern int preserve_acls;
  32 extern int preserve_xattrs;
  33 extern int preserve_perms;
  34 extern int preserve_executability;
  35 extern int preserve_times;
  36 extern int omit_dir_times;
  37 extern int am_root;
  38 extern int am_server;
  39 extern int am_sender;
  40 extern int am_generator;
  41 extern int am_starting_up;
  42 extern int allow_8bit_chars;
  43 extern int protocol_version;
  44 extern int preserve_uid;
  45 extern int preserve_gid;
  46 extern int inc_recurse;
  47 extern int inplace;
  48 extern int flist_eof;
  49 extern int keep_dirlinks;
  50 extern int make_backups;
  51 extern struct file_list *cur_flist, *first_flist, *dir_flist;
  52 extern struct chmod_mode_struct *daemon_chmod_modes;
  53 #ifdef ICONV_OPTION
  54 extern char *iconv_opt;
  55 #endif
  56
  57 #ifdef ICONV_CONST
  58 iconv_t ic_chck = (iconv_t)-1;
  59 #ifdef ICONV_OPTION
  60 iconv_t ic_send = (iconv_t)-1, ic_recv = (iconv_t)-1;
  61 int ic_ndx;
  62 #endif
  63
  64 static const char *default_charset(void)
  65 {
  66 #if defined HAVE_LIBCHARSET_H && defined HAVE_LOCALE_CHARSET
  67         return locale_charset();
  68 #elif defined HAVE_LANGINFO_H && defined HAVE_NL_LANGINFO
  69         return nl_langinfo(CODESET);
  70 #else
  71         return ""; /* Works with (at the very least) gnu iconv... */
  72 #endif
  73 }
  74
  75 void setup_iconv()
  76 {
  77         const char *defset = default_charset();
  78 # ifdef ICONV_OPTION
  79         const char *charset;
  80         char *cp;
  81 #endif
  82
  83         if (!am_server && !allow_8bit_chars) {
  84
  85                 /* It's OK if this fails... */
  86                 ic_chck = iconv_open(defset, defset);
  87
  88                 if (verbose > 3) {
  89                         if (ic_chck == (iconv_t)-1) {
  90                                 rprintf(FINFO,
  91                                         "note: iconv_open(\"%s\", \"%s\") failed (%d)"
  92                                         " -- using isprint() instead of iconv().\n",
  93                                         defset, defset, errno);
  94                         } else {
  95                                 rprintf(FINFO,
  96                                         "note: iconv_open(\"%s\", \"%s\") succeeded.\n",
  97                                         defset, defset);
  98                         }
  99                 }
 100         }
 101
 102 # ifdef ICONV_OPTION
 103         if (!iconv_opt)
 104                 return;
 105
 106         if ((cp = strchr(iconv_opt, ',')) != NULL) {
 107                 if (am_server) /* A local transfer needs this. */
 108                         iconv_opt = cp + 1;
 109                 else
 110                         *cp = '\0';
 111         }
 112
 113         if (!*iconv_opt || (*iconv_opt == '.' && iconv_opt[1] == '\0'))
 114                 charset = defset;
 115         else
 116                 charset = iconv_opt;
 117
 118         if ((ic_send = iconv_open(UTF8_CHARSET, charset)) == (iconv_t)-1) {
 119                 rprintf(FERROR, "iconv_open(\"%s\", \"%s\") failed\n",
 120                         UTF8_CHARSET, charset);
 121                 exit_cleanup(RERR_UNSUPPORTED);
 122         }
 123
 124         if ((ic_recv = iconv_open(charset, UTF8_CHARSET)) == (iconv_t)-1) {
 125                 rprintf(FERROR, "iconv_open(\"%s\", \"%s\") failed\n",
 126                         charset, UTF8_CHARSET);
 127                 exit_cleanup(RERR_UNSUPPORTED);
 128         }
 129
 130         if (!am_sender || inc_recurse)
 131                 ic_ndx = ++file_extra_cnt;
 132
 133         if (verbose > 1) {
 134                 rprintf(FINFO, "%s charset: %s\n",
 135                         am_server ? "server" : "client",
 136                         *charset ? charset : "[LOCALE]");
 137         }
 138 # endif
 139 }
 140 #endif
 141
 142 int read_ndx_and_attrs(int f_in, int *iflag_ptr, uchar *type_ptr,
 143                        char *buf, int *len_ptr)
 144 {
 145         int len, iflags = 0;
 146         struct file_list *flist;
 147         uchar fnamecmp_type = FNAMECMP_FNAME;
 148         int ndx;
 149
 150   read_loop:
 151         while (1) {
 152                 ndx = read_ndx(f_in);
 153
 154                 if (ndx >= 0)
 155                         break;
 156                 if (ndx == NDX_DONE)
 157                         return ndx;
 158                 if (!inc_recurse || am_sender)
 159                         goto invalid_ndx;
 160                 if (ndx == NDX_FLIST_EOF) {
 161                         flist_eof = 1;
 162                         send_msg(MSG_FLIST_EOF, "", 0, 0);
 163                         continue;
 164                 }
 165                 ndx = NDX_FLIST_OFFSET - ndx;
 166                 if (ndx < 0 || ndx >= dir_flist->count) {
 167                         ndx = NDX_FLIST_OFFSET - ndx;
 168                         rprintf(FERROR,
 169                                 "[%s] Invalid dir index: %d (%d - %d)\n",
 170                                 who_am_i(), ndx, NDX_FLIST_OFFSET,
 171                                 NDX_FLIST_OFFSET - dir_flist->count + 1);
 172                         exit_cleanup(RERR_PROTOCOL);
 173                 }
 174
 175                 /* Send everything read from f_in to msg_fd_out. */
 176                 send_msg_int(MSG_FLIST, ndx);
 177                 start_flist_forward(f_in);
 178                 if (verbose > 3) {
 179                         rprintf(FINFO, "[%s] receiving flist for dir %d\n",
 180                                 who_am_i(), ndx);
 181                 }
 182                 flist = recv_file_list(f_in);
 183                 flist->parent_ndx = ndx;
 184                 stop_flist_forward();
 185         }
 186
 187         iflags = protocol_version >= 29 ? read_shortint(f_in)
 188                    : ITEM_TRANSFER | ITEM_MISSING_DATA;
 189
 190         /* Honor the old-style keep-alive indicator. */
 191         if (protocol_version < 30
 192          && ndx == cur_flist->count && iflags == ITEM_IS_NEW) {
 193                 if (am_sender)
 194                         maybe_send_keepalive();
 195                 goto read_loop;
 196         }
 197
 198         if (!(flist = flist_for_ndx(ndx))) {
 199           invalid_ndx:
 200                 rprintf(FERROR,
 201                         "Invalid file index: %d (%d - %d) with iflags %x [%s]\n",
 202                         ndx, first_flist->ndx_start + first_flist->ndx_start,
 203                         first_flist->prev->ndx_start + first_flist->ndx_start
 204                         + first_flist->prev->count - 1, iflags, who_am_i());
 205                 exit_cleanup(RERR_PROTOCOL);
 206         }
 207         cur_flist = flist;
 208
 209         if (iflags & ITEM_BASIS_TYPE_FOLLOWS)
 210                 fnamecmp_type = read_byte(f_in);
 211         *type_ptr = fnamecmp_type;
 212
 213         if (iflags & ITEM_XNAME_FOLLOWS) {
 214                 if ((len = read_vstring(f_in, buf, MAXPATHLEN)) < 0)
 215                         exit_cleanup(RERR_PROTOCOL);
 216         } else {
 217                 *buf = '\0';
 218                 len = -1;
 219         }
 220         *len_ptr = len;
 221
 222         if (iflags & ITEM_TRANSFER) {
 223                 int i = ndx - cur_flist->ndx_start;
 224                 if (!S_ISREG(cur_flist->files[i]->mode)) {
 225                         rprintf(FERROR,
 226                                 "received request to transfer non-regular file: %d [%s]\n",
 227                                 ndx, who_am_i());
 228                         exit_cleanup(RERR_PROTOCOL);
 229                 }
 230         }
 231
 232         *iflag_ptr = iflags;
 233         return ndx;
 234 }
 235
 236 /*
 237   free a sums struct
 238   */
 239 void free_sums(struct sum_struct *s)
 240 {
 241         if (s->sums) free(s->sums);
 242         free(s);
 243 }
 244
 245 /* This is only called when we aren't preserving permissions.  Figure out what
 246  * the permissions should be and return them merged back into the mode. */
 247 mode_t dest_mode(mode_t flist_mode, mode_t stat_mode, int dflt_perms,
 248                  int exists)
 249 {
 250         int new_mode;
 251         /* If the file already exists, we'll return the local permissions,
 252          * possibly tweaked by the --executability option. */
 253         if (exists) {
 254                 new_mode = (flist_mode & ~CHMOD_BITS) | (stat_mode & CHMOD_BITS);
 255                 if (preserve_executability && S_ISREG(flist_mode)) {
 256                         /* If the source file is executable, grant execute
 257                          * rights to everyone who can read, but ONLY if the
 258                          * file isn't already executable. */
 259                         if (!(flist_mode & 0111))
 260                                 new_mode &= ~0111;
 261                         else if (!(stat_mode & 0111))
 262                                 new_mode |= (new_mode & 0444) >> 2;
 263                 }
 264         } else {
 265                 /* Apply destination default permissions and turn
 266                  * off special permissions. */
 267                 new_mode = flist_mode & (~CHMOD_BITS | dflt_perms);
 268         }
 269         return new_mode;
 270 }
 271
 272 int set_file_attrs(const char *fname, struct file_struct *file, statx *sxp,
 273                    const char *fnamecmp, int flags)
 274 {
 275         int updated = 0;
 276         statx sx2;
 277         int change_uid, change_gid;
 278         mode_t new_mode = file->mode;
 279
 280         if (!sxp) {
 281                 if (dry_run)
 282                         return 1;
 283                 if (link_stat(fname, &sx2.st, 0) < 0) {
 284                         rsyserr(FERROR, errno, "stat %s failed",
 285                                 full_fname(fname));
 286                         return 0;
 287                 }
 288 #ifdef SUPPORT_ACLS
 289                 sx2.acc_acl = sx2.def_acl = NULL;
 290 #endif
 291 #ifdef SUPPORT_XATTRS
 292                 sx2.xattr = NULL;
 293 #endif
 294                 if (!preserve_perms && S_ISDIR(new_mode)
 295                  && sx2.st.st_mode & S_ISGID) {
 296                         /* We just created this directory and its setgid
 297                          * bit is on, so make sure it stays on. */
 298                         new_mode |= S_ISGID;
 299                 }
 300                 sxp = &sx2;
 301         }
 302
 303 #ifdef SUPPORT_ACLS
 304         if (preserve_acls && !S_ISLNK(file->mode) && !ACL_READY(*sxp))
 305                 get_acl(fname, sxp);
 306 #endif
 307
 308 #ifdef SUPPORT_XATTRS
 309         if (preserve_xattrs && fnamecmp)
 310                 set_xattr(fname, file, fnamecmp, sxp);
 311         if (am_root < 0)
 312                 set_stat_xattr(fname, file);
 313 #endif
 314
 315         if (!preserve_times || (S_ISDIR(sxp->st.st_mode) && omit_dir_times))
 316                 flags |= ATTRS_SKIP_MTIME;
 317         if (!(flags & ATTRS_SKIP_MTIME)
 318             && cmp_time(sxp->st.st_mtime, file->modtime) != 0) {
 319                 int ret = set_modtime(fname, file->modtime, sxp->st.st_mode);
 320                 if (ret < 0) {
 321                         rsyserr(FERROR, errno, "failed to set times on %s",
 322                                 full_fname(fname));
 323                         goto cleanup;
 324                 }
 325                 if (ret == 0) /* ret == 1 if symlink could not be set */
 326                         updated = 1;
 327         }
 328
 329         change_uid = am_root && preserve_uid && sxp->st.st_uid != (uid_t)F_OWNER(file);
 330         change_gid = preserve_gid && !(file->flags & FLAG_SKIP_GROUP)
 331                   && sxp->st.st_gid != (gid_t)F_GROUP(file);
 332 #if !defined HAVE_LCHOWN && !defined CHOWN_MODIFIES_SYMLINK
 333         if (S_ISLNK(sxp->st.st_mode))
 334                 ;
 335         else
 336 #endif
 337         if (change_uid || change_gid) {
 338                 if (verbose > 2) {
 339                         if (change_uid) {
 340                                 rprintf(FINFO,
 341                                         "set uid of %s from %u to %u\n",
 342                                         fname, (unsigned)sxp->st.st_uid, F_OWNER(file));
 343                         }
 344                         if (change_gid) {
 345                                 rprintf(FINFO,
 346                                         "set gid of %s from %u to %u\n",
 347                                         fname, (unsigned)sxp->st.st_gid, F_GROUP(file));
 348                         }
 349                 }
 350                 if (am_root < 0) {
 351                         ;
 352                 } else if (do_lchown(fname,
 353                     change_uid ? (uid_t)F_OWNER(file) : sxp->st.st_uid,
 354                     change_gid ? (gid_t)F_GROUP(file) : sxp->st.st_gid) != 0) {
 355                         /* shouldn't have attempted to change uid or gid
 356                          * unless have the privilege */
 357                         rsyserr(FERROR, errno, "%s %s failed",
 358                             change_uid ? "chown" : "chgrp",
 359                             full_fname(fname));
 360                         goto cleanup;
 361                 } else
 362                 /* a lchown had been done - we have to re-stat if the
 363                  * destination had the setuid or setgid bits set due
 364                  * to the side effect of the chown call */
 365                 if (sxp->st.st_mode & (S_ISUID | S_ISGID)) {
 366                         link_stat(fname, &sxp->st,
 367                                   keep_dirlinks && S_ISDIR(sxp->st.st_mode));
 368                 }
 369                 updated = 1;
 370         }
 371
 372         if (daemon_chmod_modes && !S_ISLNK(new_mode))
 373                 new_mode = tweak_mode(new_mode, daemon_chmod_modes);
 374
 375 #ifdef SUPPORT_ACLS
 376         /* It's OK to call set_acl() now, even for a dir, as the generator
 377          * will enable owner-writability using chmod, if necessary.
 378          *
 379          * If set_acl() changes permission bits in the process of setting
 380          * an access ACL, it changes sxp->st.st_mode so we know whether we
 381          * need to chmod(). */
 382         if (preserve_acls && !S_ISLNK(new_mode) && set_acl(fname, file, sxp) == 0)
 383                 updated = 1;
 384 #endif
 385
 386 #ifdef HAVE_CHMOD
 387         if (!BITS_EQUAL(sxp->st.st_mode, new_mode, CHMOD_BITS)) {
 388                 int ret = am_root < 0 ? 0 : do_chmod(fname, new_mode);
 389                 if (ret < 0) {
 390                         rsyserr(FERROR, errno,
 391                                 "failed to set permissions on %s",
 392                                 full_fname(fname));
 393                         goto cleanup;
 394                 }
 395                 if (ret == 0) /* ret == 1 if symlink could not be set */
 396                         updated = 1;
 397         }
 398 #endif
 399
 400         if (verbose > 1 && flags & ATTRS_REPORT) {
 401                 if (updated)
 402                         rprintf(FCLIENT, "%s\n", fname);
 403                 else
 404                         rprintf(FCLIENT, "%s is uptodate\n", fname);
 405         }
 406   cleanup:
 407         if (sxp == &sx2) {
 408 #ifdef SUPPORT_ACLS
 409                 if (preserve_acls)
 410                         free_acl(&sx2);
 411 #endif
 412 #ifdef SUPPORT_XATTRS
 413                 if (preserve_xattrs)
 414                         free_xattr(&sx2);
 415 #endif
 416         }
 417         return updated;
 418 }
 419
 420 RETSIGTYPE sig_int(UNUSED(int val))
 421 {
 422         /* KLUGE: if the user hits Ctrl-C while ssh is prompting
 423          * for a password, then our cleanup's sending of a SIGUSR1
 424          * signal to all our children may kill ssh before it has a
 425          * chance to restore the tty settings (i.e. turn echo back
 426          * on).  By sleeping for a short time, ssh gets a bigger
 427          * chance to do the right thing.  If child processes are
 428          * not ssh waiting for a password, then this tiny delay
 429          * shouldn't hurt anything. */
 430         msleep(400);
 431         exit_cleanup(RERR_SIGNAL);
 432 }
 433
 434 /* Finish off a file transfer: renaming the file and setting the file's
 435  * attributes (e.g. permissions, ownership, etc.).  If partialptr is not
 436  * NULL and the robust_rename() call is forced to copy the temp file, we
 437  * stage the file into the partial-dir and then rename it into place. */
 438 void finish_transfer(const char *fname, const char *fnametmp,
 439                      const char *fnamecmp, const char *partialptr,
 440                      struct file_struct *file, int ok_to_set_time,
 441                      int overwriting_basis)
 442 {
 443         int ret;
 444
 445         if (inplace) {
 446                 if (verbose > 2)
 447                         rprintf(FINFO, "finishing %s\n", fname);
 448                 fnametmp = fname;
 449                 goto do_set_file_attrs;
 450         }
 451
 452         if (make_backups > 0 && overwriting_basis && !make_backup(fname))
 453                 return;
 454
 455         /* Change permissions before putting the file into place. */
 456         set_file_attrs(fnametmp, file, NULL, fnamecmp,
 457                        ok_to_set_time ? 0 : ATTRS_SKIP_MTIME);
 458
 459         /* move tmp file over real file */
 460         if (verbose > 2)
 461                 rprintf(FINFO, "renaming %s to %s\n", fnametmp, fname);
 462         ret = robust_rename(fnametmp, fname, partialptr,
 463                             file->mode & INITACCESSPERMS);
 464         if (ret < 0) {
 465                 rsyserr(FERROR, errno, "%s %s -> \"%s\"",
 466                         ret == -2 ? "copy" : "rename",
 467                         full_fname(fnametmp), fname);
 468                 do_unlink(fnametmp);
 469                 return;
 470         }
 471         if (ret == 0) {
 472                 /* The file was moved into place (not copied), so it's done. */
 473                 return;
 474         }
 475         /* The file was copied, so tweak the perms of the copied file.  If it
 476          * was copied to partialptr, move it into its final destination. */
 477         fnametmp = partialptr ? partialptr : fname;
 478
 479   do_set_file_attrs:
 480         set_file_attrs(fnametmp, file, NULL, fnamecmp,
 481                        ok_to_set_time ? 0 : ATTRS_SKIP_MTIME);
 482
 483         if (partialptr) {
 484                 if (do_rename(fnametmp, fname) < 0) {
 485                         rsyserr(FERROR, errno, "rename %s -> \"%s\"",
 486                                 full_fname(fnametmp), fname);
 487                 } else
 488                         handle_partial_dir(partialptr, PDIR_DELETE);
 489         }
 490 }
 491
 492 struct file_list *flist_for_ndx(int ndx)
 493 {
 494         struct file_list *flist = cur_flist;
 495
 496         if (!flist && !(flist = first_flist))
 497                 return NULL;
 498
 499         while (ndx < flist->ndx_start) {
 500                 if (flist == first_flist)
 501                         return NULL;
 502                 flist = flist->prev;
 503         }
 504         while (ndx >= flist->ndx_start + flist->count) {
 505                 if (!(flist = flist->next))
 506                         return NULL;
 507         }
 508         return flist;
 509 }
 510
 511 const char *who_am_i(void)
 512 {
 513         if (am_starting_up)
 514                 return am_server ? "server" : "client";
 515         return am_sender ? "sender" : am_generator ? "generator" : "receiver";
 516 }