Fixed the way rsync handles iconv-conversion problems in the file-list:
[rsync/rsync.git] / rsync.c
1 /*
2  * Routines common to more than one of the rsync processes.
3  *
4  * Copyright (C) 1996 Andrew Tridgell
5  * Copyright (C) 1996 Paul Mackerras
6  * Copyright (C) 2003-2008 Wayne Davison
7  *
8  * This program is free software; you can redistribute it and/or modify
9  * it under the terms of the GNU General Public License as published by
10  * the Free Software Foundation; either version 3 of the License, or
11  * (at your option) any later version.
12  *
13  * This program is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
16  * GNU General Public License for more details.
17  *
18  * You should have received a copy of the GNU General Public License along
19  * with this program; if not, visit the http://fsf.org website.
20  */
21
22 #include "rsync.h"
23 #include "ifuncs.h"
24 #if defined HAVE_LIBCHARSET_H && defined HAVE_LOCALE_CHARSET
25 #include <libcharset.h>
26 #elif defined HAVE_LANGINFO_H && defined HAVE_NL_LANGINFO
27 #include <langinfo.h>
28 #endif
29
30 extern int verbose;
31 extern int dry_run;
32 extern int preserve_acls;
33 extern int preserve_xattrs;
34 extern int preserve_perms;
35 extern int preserve_executability;
36 extern int preserve_times;
37 extern int am_root;
38 extern int am_server;
39 extern int am_sender;
40 extern int am_generator;
41 extern int am_starting_up;
42 extern int allow_8bit_chars;
43 extern int protocol_version;
44 extern int uid_ndx;
45 extern int gid_ndx;
46 extern int inc_recurse;
47 extern int inplace;
48 extern int flist_eof;
49 extern int keep_dirlinks;
50 extern int make_backups;
51 extern struct file_list *cur_flist, *first_flist, *dir_flist;
52 extern struct chmod_mode_struct *daemon_chmod_modes;
53 #ifdef ICONV_OPTION
54 extern char *iconv_opt;
55 #endif
56
57 #ifdef ICONV_CONST
58 iconv_t ic_chck = (iconv_t)-1;
59 # ifdef ICONV_OPTION
60 iconv_t ic_send = (iconv_t)-1, ic_recv = (iconv_t)-1;
61 # endif
62
63 static const char *default_charset(void)
64 {
65 # if defined HAVE_LIBCHARSET_H && defined HAVE_LOCALE_CHARSET
66         return locale_charset();
67 # elif defined HAVE_LANGINFO_H && defined HAVE_NL_LANGINFO
68         return nl_langinfo(CODESET);
69 # else
70         return ""; /* Works with (at the very least) gnu iconv... */
71 # endif
72 }
73
74 void setup_iconv(void)
75 {
76         const char *defset = default_charset();
77 # ifdef ICONV_OPTION
78         const char *charset;
79         char *cp;
80 # endif
81
82         if (!am_server && !allow_8bit_chars) {
83
84                 /* It's OK if this fails... */
85                 ic_chck = iconv_open(defset, defset);
86
87                 if (verbose > 3) {
88                         if (ic_chck == (iconv_t)-1) {
89                                 rprintf(FINFO,
90                                         "note: iconv_open(\"%s\", \"%s\") failed (%d)"
91                                         " -- using isprint() instead of iconv().\n",
92                                         defset, defset, errno);
93                         } else {
94                                 rprintf(FINFO,
95                                         "note: iconv_open(\"%s\", \"%s\") succeeded.\n",
96                                         defset, defset);
97                         }
98                 }
99         }
100
101 # ifdef ICONV_OPTION
102         if (!iconv_opt)
103                 return;
104
105         if ((cp = strchr(iconv_opt, ',')) != NULL) {
106                 if (am_server) /* A local transfer needs this. */
107                         iconv_opt = cp + 1;
108                 else
109                         *cp = '\0';
110         }
111
112         if (!*iconv_opt || (*iconv_opt == '.' && iconv_opt[1] == '\0'))
113                 charset = defset;
114         else
115                 charset = iconv_opt;
116
117         if ((ic_send = iconv_open(UTF8_CHARSET, charset)) == (iconv_t)-1) {
118                 rprintf(FERROR, "iconv_open(\"%s\", \"%s\") failed\n",
119                         UTF8_CHARSET, charset);
120                 exit_cleanup(RERR_UNSUPPORTED);
121         }
122
123         if ((ic_recv = iconv_open(charset, UTF8_CHARSET)) == (iconv_t)-1) {
124                 rprintf(FERROR, "iconv_open(\"%s\", \"%s\") failed\n",
125                         charset, UTF8_CHARSET);
126                 exit_cleanup(RERR_UNSUPPORTED);
127         }
128
129         if (verbose > 1) {
130                 rprintf(FINFO, "%s charset: %s\n",
131                         am_server ? "server" : "client",
132                         *charset ? charset : "[LOCALE]");
133         }
134 # endif
135 }
136
137 /* This function converts the characters in the "in" xbuf into characters
138  * in the "out" xbuf.  The "len" of the "in" xbuf is used starting from its
139  * "pos".  The "size" of the "out" xbuf restricts how many characters can be
140  * stored, starting at its "pos+len" position.  Note that the last byte of
141  * the buffer is never used, which reserves space for a terminating '\0'.
142  * We return a 0 on success or a -1 on error.  An error also sets errno to
143  * E2BIG, EILSEQ, or EINVAL (see below); otherwise errno will be set to 0.
144  * The "in" xbuf is altered to update "pos" and "len".  The "out" xbuf has
145  * data appended, and its "len" incremented.   If ICB_EXPAND_OUT is set in
146  * "flags", the "out" xbuf will also be allocated if empty, and expanded if
147  * too small (so E2BIG will not be returned).  If ICB_INCLUDE_BAD is set in
148  * "flags", any badly-encoded chars are included verbatim in the "out" xbuf,
149  * so EILSEQ will not be returned.  Likewise for ICB_INCLUDE_INCOMPLETE with
150  * respect to an incomplete multi-byte char at the end, which ensures that
151  * EINVAL is not returned.  Anytime "in.pos" is 0 we will reset the iconv()
152  * state prior to processing the characters. */
153 int iconvbufs(iconv_t ic, xbuf *in, xbuf *out, int flags)
154 {
155         ICONV_CONST char *ibuf;
156         size_t icnt, ocnt;
157         char *obuf;
158
159         if (!out->size && flags & ICB_EXPAND_OUT)
160                 alloc_xbuf(out, 1024);
161
162         if (!in->pos)
163                 iconv(ic, NULL, 0, NULL, 0);
164
165         ibuf = in->buf + in->pos;
166         icnt = in->len;
167
168         obuf = out->buf + (out->pos + out->len);
169         ocnt = out->size - (out->pos + out->len) - 1;
170
171         while (icnt) {
172                 while (iconv(ic, &ibuf, &icnt, &obuf, &ocnt) == (size_t)-1) {
173                         if (errno == EINTR)
174                                 continue;
175                         if (errno == EINVAL) {
176                                 if (!(flags & ICB_INCLUDE_INCOMPLETE))
177                                         goto finish;
178                         } else if (errno == EILSEQ) {
179                                 if (!(flags & ICB_INCLUDE_BAD))
180                                         goto finish;
181                         } else {
182                                 size_t opos = obuf - out->buf;
183                                 if (!(flags & ICB_EXPAND_OUT)) {
184                                         errno = E2BIG;
185                                         goto finish;
186                                 }
187                                 realloc_xbuf(out, out->size + 1024);
188                                 obuf = out->buf + opos;
189                                 ocnt += 1024;
190                                 continue;
191                         }
192                         *obuf++ = *ibuf++;
193                         ocnt--, icnt--;
194                 }
195         }
196
197         errno = 0;
198
199   finish:
200         in->len = icnt;
201         in->pos = ibuf - in->buf;
202         out->len = obuf - out->buf - out->pos;
203
204         return errno ? -1 : 0;
205 }
206 #endif
207
208 void send_protected_args(int fd, char *args[])
209 {
210         int i;
211 #ifdef ICONV_OPTION
212         int convert = ic_send != (iconv_t)-1;
213         xbuf outbuf, inbuf;
214
215         if (convert)
216                 alloc_xbuf(&outbuf, 1024);
217 #endif
218
219         for (i = 0; args[i]; i++) {} /* find first NULL */
220         args[i] = "rsync"; /* set a new arg0 */
221         if (verbose > 1)
222                 print_child_argv("protected args:", args + i + 1);
223         do {
224 #ifdef ICONV_OPTION
225                 if (convert) {
226                         INIT_XBUF_STRLEN(inbuf, args[i]);
227                         iconvbufs(ic_send, &inbuf, &outbuf,
228                                   ICB_EXPAND_OUT | ICB_INCLUDE_BAD | ICB_INCLUDE_INCOMPLETE);
229                         outbuf.buf[outbuf.len] = '\0';
230                         write_buf(fd, outbuf.buf, outbuf.len + 1);
231                         outbuf.len = 0;
232                 } else
233 #endif
234                         write_buf(fd, args[i], strlen(args[i]) + 1);
235         } while (args[++i]);
236         write_byte(fd, 0);
237
238 #ifdef ICONV_OPTION
239         if (convert)
240                 free(outbuf.buf);
241 #endif
242 }
243
244 int read_ndx_and_attrs(int f_in, int *iflag_ptr, uchar *type_ptr,
245                        char *buf, int *len_ptr)
246 {
247         int len, iflags = 0;
248         struct file_list *flist;
249         uchar fnamecmp_type = FNAMECMP_FNAME;
250         int ndx, save_verbose = verbose;
251
252   read_loop:
253         while (1) {
254                 ndx = read_ndx(f_in);
255
256                 if (ndx >= 0)
257                         break;
258                 if (ndx == NDX_DONE)
259                         return ndx;
260                 if (!inc_recurse || am_sender)
261                         goto invalid_ndx;
262                 if (ndx == NDX_FLIST_EOF) {
263                         flist_eof = 1;
264                         send_msg(MSG_FLIST_EOF, "", 0, 0);
265                         continue;
266                 }
267                 ndx = NDX_FLIST_OFFSET - ndx;
268                 if (ndx < 0 || ndx >= dir_flist->used) {
269                         ndx = NDX_FLIST_OFFSET - ndx;
270                         rprintf(FERROR,
271                                 "[%s] Invalid dir index: %d (%d - %d)\n",
272                                 who_am_i(), ndx, NDX_FLIST_OFFSET,
273                                 NDX_FLIST_OFFSET - dir_flist->used + 1);
274                         exit_cleanup(RERR_PROTOCOL);
275                 }
276
277                 /* Send everything read from f_in to msg_fd_out. */
278                 if (verbose > 3) {
279                         rprintf(FINFO, "[%s] receiving flist for dir %d\n",
280                                 who_am_i(), ndx);
281                 }
282                 verbose = 0;
283                 send_msg_int(MSG_FLIST, ndx);
284                 start_flist_forward(f_in);
285                 flist = recv_file_list(f_in);
286                 flist->parent_ndx = ndx;
287                 stop_flist_forward();
288                 verbose = save_verbose;
289         }
290
291         iflags = protocol_version >= 29 ? read_shortint(f_in)
292                    : ITEM_TRANSFER | ITEM_MISSING_DATA;
293
294         /* Honor the old-style keep-alive indicator. */
295         if (protocol_version < 30
296          && ndx == cur_flist->used && iflags == ITEM_IS_NEW) {
297                 if (am_sender)
298                         maybe_send_keepalive();
299                 goto read_loop;
300         }
301
302         if (!(flist = flist_for_ndx(ndx))) {
303                 int start, used;
304           invalid_ndx:
305                 start = first_flist ? first_flist->ndx_start : 0;
306                 used = first_flist ? first_flist->used : 0;
307                 rprintf(FERROR,
308                         "Invalid file index: %d (%d - %d) with iflags %x [%s]\n",
309                         ndx, start - 1, start + used -1, iflags, who_am_i());
310                 exit_cleanup(RERR_PROTOCOL);
311         }
312         cur_flist = flist;
313
314         if (iflags & ITEM_BASIS_TYPE_FOLLOWS)
315                 fnamecmp_type = read_byte(f_in);
316         *type_ptr = fnamecmp_type;
317
318         if (iflags & ITEM_XNAME_FOLLOWS) {
319                 if ((len = read_vstring(f_in, buf, MAXPATHLEN)) < 0)
320                         exit_cleanup(RERR_PROTOCOL);
321         } else {
322                 *buf = '\0';
323                 len = -1;
324         }
325         *len_ptr = len;
326
327         if (iflags & ITEM_TRANSFER) {
328                 int i = ndx - cur_flist->ndx_start;
329                 if (i < 0 || !S_ISREG(cur_flist->files[i]->mode)) {
330                         rprintf(FERROR,
331                                 "received request to transfer non-regular file: %d [%s]\n",
332                                 ndx, who_am_i());
333                         exit_cleanup(RERR_PROTOCOL);
334                 }
335         }
336
337         *iflag_ptr = iflags;
338         return ndx;
339 }
340
341 /*
342   free a sums struct
343   */
344 void free_sums(struct sum_struct *s)
345 {
346         if (s->sums) free(s->sums);
347         free(s);
348 }
349
350 /* This is only called when we aren't preserving permissions.  Figure out what
351  * the permissions should be and return them merged back into the mode. */
352 mode_t dest_mode(mode_t flist_mode, mode_t stat_mode, int dflt_perms,
353                  int exists)
354 {
355         int new_mode;
356         /* If the file already exists, we'll return the local permissions,
357          * possibly tweaked by the --executability option. */
358         if (exists) {
359                 new_mode = (flist_mode & ~CHMOD_BITS) | (stat_mode & CHMOD_BITS);
360                 if (preserve_executability && S_ISREG(flist_mode)) {
361                         /* If the source file is executable, grant execute
362                          * rights to everyone who can read, but ONLY if the
363                          * file isn't already executable. */
364                         if (!(flist_mode & 0111))
365                                 new_mode &= ~0111;
366                         else if (!(stat_mode & 0111))
367                                 new_mode |= (new_mode & 0444) >> 2;
368                 }
369         } else {
370                 /* Apply destination default permissions and turn
371                  * off special permissions. */
372                 new_mode = flist_mode & (~CHMOD_BITS | dflt_perms);
373         }
374         return new_mode;
375 }
376
377 int set_file_attrs(const char *fname, struct file_struct *file, stat_x *sxp,
378                    const char *fnamecmp, int flags)
379 {
380         int updated = 0;
381         stat_x sx2;
382         int change_uid, change_gid;
383         mode_t new_mode = file->mode;
384         int inherit;
385
386         if (!sxp) {
387                 if (dry_run)
388                         return 1;
389                 if (link_stat(fname, &sx2.st, 0) < 0) {
390                         rsyserr(FERROR_XFER, errno, "stat %s failed",
391                                 full_fname(fname));
392                         return 0;
393                 }
394 #ifdef SUPPORT_ACLS
395                 sx2.acc_acl = sx2.def_acl = NULL;
396 #endif
397 #ifdef SUPPORT_XATTRS
398                 sx2.xattr = NULL;
399 #endif
400                 sxp = &sx2;
401                 inherit = !preserve_perms;
402         } else
403                 inherit = !preserve_perms && file->flags & FLAG_DIR_CREATED;
404
405         if (inherit && S_ISDIR(new_mode) && sxp->st.st_mode & S_ISGID) {
406                 /* We just created this directory and its setgid
407                  * bit is on, so make sure it stays on. */
408                 new_mode |= S_ISGID;
409         }
410
411         if (daemon_chmod_modes && !S_ISLNK(new_mode))
412                 new_mode = tweak_mode(new_mode, daemon_chmod_modes);
413
414 #ifdef SUPPORT_ACLS
415         if (preserve_acls && !S_ISLNK(file->mode) && !ACL_READY(*sxp))
416                 get_acl(fname, sxp);
417 #endif
418
419 #ifdef SUPPORT_XATTRS
420         if (am_root < 0)
421                 set_stat_xattr(fname, file, new_mode);
422         if (preserve_xattrs && fnamecmp)
423                 set_xattr(fname, file, fnamecmp, sxp);
424 #endif
425
426         if (!preserve_times || (S_ISDIR(sxp->st.st_mode) && preserve_times == 1))
427                 flags |= ATTRS_SKIP_MTIME;
428         if (!(flags & ATTRS_SKIP_MTIME)
429             && cmp_time(sxp->st.st_mtime, file->modtime) != 0) {
430                 int ret = set_modtime(fname, file->modtime, sxp->st.st_mode);
431                 if (ret < 0) {
432                         rsyserr(FERROR_XFER, errno, "failed to set times on %s",
433                                 full_fname(fname));
434                         goto cleanup;
435                 }
436                 if (ret == 0) /* ret == 1 if symlink could not be set */
437                         updated = 1;
438                 else
439                         file->flags |= FLAG_TIME_FAILED;
440         }
441
442         change_uid = am_root && uid_ndx && sxp->st.st_uid != (uid_t)F_OWNER(file);
443         change_gid = gid_ndx && !(file->flags & FLAG_SKIP_GROUP)
444                   && sxp->st.st_gid != (gid_t)F_GROUP(file);
445 #if !defined HAVE_LCHOWN && !defined CHOWN_MODIFIES_SYMLINK
446         if (S_ISLNK(sxp->st.st_mode)) {
447                 ;
448         } else
449 #endif
450         if (change_uid || change_gid) {
451                 if (verbose > 2) {
452                         if (change_uid) {
453                                 rprintf(FINFO,
454                                         "set uid of %s from %u to %u\n",
455                                         fname, (unsigned)sxp->st.st_uid, F_OWNER(file));
456                         }
457                         if (change_gid) {
458                                 rprintf(FINFO,
459                                         "set gid of %s from %u to %u\n",
460                                         fname, (unsigned)sxp->st.st_gid, F_GROUP(file));
461                         }
462                 }
463                 if (am_root >= 0) {
464                         if (do_lchown(fname,
465                             change_uid ? (uid_t)F_OWNER(file) : sxp->st.st_uid,
466                             change_gid ? (gid_t)F_GROUP(file) : sxp->st.st_gid) != 0) {
467                                 /* We shouldn't have attempted to change uid
468                                  * or gid unless have the privilege. */
469                                 rsyserr(FERROR_XFER, errno, "%s %s failed",
470                                     change_uid ? "chown" : "chgrp",
471                                     full_fname(fname));
472                                 goto cleanup;
473                         }
474                         /* A lchown had been done, so we need to re-stat if
475                          * the destination had the setuid or setgid bits set
476                          * (due to the side effect of the chown call). */
477                         if (sxp->st.st_mode & (S_ISUID | S_ISGID)) {
478                                 link_stat(fname, &sxp->st,
479                                           keep_dirlinks && S_ISDIR(sxp->st.st_mode));
480                         }
481                 }
482                 updated = 1;
483         }
484
485 #ifdef SUPPORT_ACLS
486         /* It's OK to call set_acl() now, even for a dir, as the generator
487          * will enable owner-writability using chmod, if necessary.
488          * 
489          * If set_acl() changes permission bits in the process of setting
490          * an access ACL, it changes sxp->st.st_mode so we know whether we
491          * need to chmod(). */
492         if (preserve_acls && !S_ISLNK(new_mode) && set_acl(fname, file, sxp) == 0)
493                 updated = 1;
494 #endif
495
496 #ifdef HAVE_CHMOD
497         if (!BITS_EQUAL(sxp->st.st_mode, new_mode, CHMOD_BITS)) {
498                 int ret = am_root < 0 ? 0 : do_chmod(fname, new_mode);
499                 if (ret < 0) {
500                         rsyserr(FERROR_XFER, errno,
501                                 "failed to set permissions on %s",
502                                 full_fname(fname));
503                         goto cleanup;
504                 }
505                 if (ret == 0) /* ret == 1 if symlink could not be set */
506                         updated = 1;
507         }
508 #endif
509
510         if (verbose > 1 && flags & ATTRS_REPORT) {
511                 if (updated)
512                         rprintf(FCLIENT, "%s\n", fname);
513                 else
514                         rprintf(FCLIENT, "%s is uptodate\n", fname);
515         }
516   cleanup:
517         if (sxp == &sx2) {
518 #ifdef SUPPORT_ACLS
519                 if (preserve_acls)
520                         free_acl(&sx2);
521 #endif
522 #ifdef SUPPORT_XATTRS
523                 if (preserve_xattrs)
524                         free_xattr(&sx2);
525 #endif
526         }
527         return updated;
528 }
529
530 RETSIGTYPE sig_int(UNUSED(int val))
531 {
532         /* KLUGE: if the user hits Ctrl-C while ssh is prompting
533          * for a password, then our cleanup's sending of a SIGUSR1
534          * signal to all our children may kill ssh before it has a
535          * chance to restore the tty settings (i.e. turn echo back
536          * on).  By sleeping for a short time, ssh gets a bigger
537          * chance to do the right thing.  If child processes are
538          * not ssh waiting for a password, then this tiny delay
539          * shouldn't hurt anything. */
540         msleep(400);
541         exit_cleanup(RERR_SIGNAL);
542 }
543
544 /* Finish off a file transfer: renaming the file and setting the file's
545  * attributes (e.g. permissions, ownership, etc.).  If the robust_rename()
546  * call is forced to copy the temp file and partialptr is both non-NULL and
547  * not an absolute path, we stage the file into the partial-dir and then
548  * rename it into place.  This returns 1 on succcess or 0 on failure. */
549 int finish_transfer(const char *fname, const char *fnametmp,
550                     const char *fnamecmp, const char *partialptr,
551                     struct file_struct *file, int ok_to_set_time,
552                     int overwriting_basis)
553 {
554         int ret;
555         const char *temp_copy_name = partialptr && *partialptr != '/' ? partialptr : NULL;
556
557         if (inplace) {
558                 if (verbose > 2)
559                         rprintf(FINFO, "finishing %s\n", fname);
560                 fnametmp = fname;
561                 goto do_set_file_attrs;
562         }
563
564         if (make_backups > 0 && overwriting_basis && !make_backup(fname))
565                 return 1;
566
567         /* Change permissions before putting the file into place. */
568         set_file_attrs(fnametmp, file, NULL, fnamecmp,
569                        ok_to_set_time ? 0 : ATTRS_SKIP_MTIME);
570
571         /* move tmp file over real file */
572         if (verbose > 2)
573                 rprintf(FINFO, "renaming %s to %s\n", fnametmp, fname);
574         ret = robust_rename(fnametmp, fname, temp_copy_name,
575                             file->mode & INITACCESSPERMS);
576         if (ret < 0) {
577                 rsyserr(FERROR_XFER, errno, "%s %s -> \"%s\"",
578                         ret == -2 ? "copy" : "rename",
579                         full_fname(fnametmp), fname);
580                 if (!partialptr || (ret == -2 && temp_copy_name)
581                  || robust_rename(fnametmp, partialptr, NULL,
582                                   file->mode & INITACCESSPERMS) < 0)
583                         do_unlink(fnametmp);
584                 return 0;
585         }
586         if (ret == 0) {
587                 /* The file was moved into place (not copied), so it's done. */
588                 return 1;
589         }
590         /* The file was copied, so tweak the perms of the copied file.  If it
591          * was copied to partialptr, move it into its final destination. */
592         fnametmp = temp_copy_name ? temp_copy_name : fname;
593
594   do_set_file_attrs:
595         set_file_attrs(fnametmp, file, NULL, fnamecmp,
596                        ok_to_set_time ? 0 : ATTRS_SKIP_MTIME);
597
598         if (temp_copy_name) {
599                 if (do_rename(fnametmp, fname) < 0) {
600                         rsyserr(FERROR_XFER, errno, "rename %s -> \"%s\"",
601                                 full_fname(fnametmp), fname);
602                         return 0;
603                 }
604                 handle_partial_dir(temp_copy_name, PDIR_DELETE);
605         }
606         return 1;
607 }
608
609 struct file_list *flist_for_ndx(int ndx)
610 {
611         struct file_list *flist = cur_flist;
612
613         if (!flist && !(flist = first_flist))
614                 return NULL;
615
616         while (ndx < flist->ndx_start-1) {
617                 if (flist == first_flist)
618                         return NULL;
619                 flist = flist->prev;
620         }
621         while (ndx >= flist->ndx_start + flist->used) {
622                 if (!(flist = flist->next))
623                         return NULL;
624         }
625         return flist;
626 }
627
628 const char *who_am_i(void)
629 {
630         if (am_starting_up)
631                 return am_server ? "server" : "client";
632         return am_sender ? "sender" : am_generator ? "generator" : "receiver";
633 }