Fixed an "Internal abbrev error" when dealing with an xattr value
[rsync/rsync.git] / xattrs.c
index 6ab9698..349fbf4 100644 (file)
--- a/xattrs.c
+++ b/xattrs.c
@@ -3,7 +3,7 @@
  * Written by Jay Fenlason, vaguely based on the ACLs patch.
  *
  * Copyright (C) 2004 Red Hat, Inc.
- * Copyright (C) 2006, 2007 Wayne Davison
+ * Copyright (C) 2006-2008 Wayne Davison
  *
  * This program is free software; you can redistribute it and/or modify
  * it under the terms of the GNU General Public License as published by
@@ -47,7 +47,6 @@ extern int checksum_seed;
 #define XSTATE_ABBREV  0
 #define XSTATE_DONE    1
 #define XSTATE_TODO    2
-#define XSTATE_LOCAL   3
 
 #define USER_PREFIX "user."
 #define UPRE_LEN ((int)sizeof USER_PREFIX - 1)
@@ -63,13 +62,17 @@ extern int checksum_seed;
 #endif
 #define RPRE_LEN ((int)sizeof RSYNC_PREFIX - 1)
 
-#define XSTAT_ATTR RSYNC_PREFIX "%stat"
-#define XACC_ACL_ATTR RSYNC_PREFIX "%aacl"
-#define XDEF_ACL_ATTR RSYNC_PREFIX "%dacl"
+#define XSTAT_SUFFIX "stat"
+#define XSTAT_ATTR RSYNC_PREFIX "%" XSTAT_SUFFIX
+#define XACC_ACL_SUFFIX "aacl"
+#define XACC_ACL_ATTR RSYNC_PREFIX "%" XACC_ACL_SUFFIX
+#define XDEF_ACL_SUFFIX "dacl"
+#define XDEF_ACL_ATTR RSYNC_PREFIX "%" XDEF_ACL_SUFFIX
 
 typedef struct {
        char *datum, *name;
        size_t datum_len, name_len;
+       int num;
 } rsync_xa;
 
 static size_t namebuf_len = 0;
@@ -111,6 +114,7 @@ static int rsync_xal_compare_names(const void *x1, const void *x2)
 static ssize_t get_xattr_names(const char *fname)
 {
        ssize_t list_len;
+       double arg;
 
        if (!namebuf) {
                namebuf_len = 1024;
@@ -119,39 +123,36 @@ static ssize_t get_xattr_names(const char *fname)
                        out_of_memory("get_xattr_names");
        }
 
-       /* The length returned includes all the '\0' terminators. */
-       list_len = sys_llistxattr(fname, namebuf, namebuf_len);
-       if (list_len > (ssize_t)namebuf_len) {
-               list_len = -1;
-               errno = ERANGE;
-       }
-       if (list_len >= 0)
-               return list_len;
-       if (errno == ENOTSUP)
-               return 0;
-       if (errno == ERANGE) {
-               list_len = sys_llistxattr(fname, NULL, 0);
-               if (list_len < 0) {
+       while (1) {
+               /* The length returned includes all the '\0' terminators. */
+               list_len = sys_llistxattr(fname, namebuf, namebuf_len);
+               if (list_len >= 0) {
+                       if ((size_t)list_len <= namebuf_len)
+                               break;
+               } else if (errno == ENOTSUP)
+                       return 0;
+               else if (errno != ERANGE) {
+                       arg = (double)namebuf_len;
+                 got_error:
                        rsyserr(FERROR_XFER, errno,
-                               "get_xattr_names: llistxattr(\"%s\",0) failed",
-                               fname);
+                               "get_xattr_names: llistxattr(\"%s\",%.0f) failed",
+                               fname, arg);
                        return -1;
                }
+               list_len = sys_llistxattr(fname, NULL, 0);
+               if (list_len < 0) {
+                       arg = 0;
+                       goto got_error;
+               }
                if (namebuf_len)
                        free(namebuf);
                namebuf_len = list_len + 1024;
                namebuf = new_array(char, namebuf_len);
                if (!namebuf)
                        out_of_memory("get_xattr_names");
-               list_len = sys_llistxattr(fname, namebuf, namebuf_len);
-               if (list_len >= 0)
-                       return list_len;
        }
 
-       rsyserr(FERROR_XFER, errno,
-               "get_xattr_names: llistxattr(\"%s\",%ld) failed",
-               fname, (long)namebuf_len);
-       return -1;
+       return list_len;
 }
 
 /* On entry, the *len_ptr parameter contains the size of the extra space we
@@ -177,8 +178,9 @@ static char *get_xattr_data(const char *fname, const char *name, size_t *len_ptr
 
        if (!datum_len && !extra_len)
                extra_len = 1; /* request non-zero amount of memory */
-       if (datum_len + extra_len < datum_len /* checks for overflow */
-        || !(ptr = new_array(char, datum_len + extra_len)))
+       if (datum_len + extra_len < datum_len)
+               overflow_exit("get_xattr_data");
+       if (!(ptr = new_array(char, datum_len + extra_len)))
                out_of_memory("get_xattr_data");
 
        if (datum_len) {
@@ -210,14 +212,14 @@ static int rsync_xal_get(const char *fname, item_list *xalp)
 #ifdef HAVE_LINUX_XATTRS
        int user_only = am_sender ? 0 : !am_root;
 #endif
+       rsync_xa *rxa;
+       int count;
 
        /* This puts the name list into the "namebuf" buffer. */
        if ((list_len = get_xattr_names(fname)) < 0)
                return -1;
 
        for (name = namebuf; list_len > 0; name += name_len) {
-               rsync_xa *rxa;
-
                name_len = strlen(name) + 1;
                list_len -= name_len;
 
@@ -233,7 +235,10 @@ static int rsync_xal_get(const char *fname, item_list *xalp)
                if (name_len > RPRE_LEN && name[RPRE_LEN] == '%'
                 && HAS_PREFIX(name, RSYNC_PREFIX)) {
                        if ((am_sender && preserve_xattrs < 2)
-                        || (am_root < 0 && strcmp(name, XSTAT_ATTR) == 0))
+                        || (am_root < 0
+                         && (strcmp(name+RPRE_LEN+1, XSTAT_SUFFIX) == 0
+                          || strcmp(name+RPRE_LEN+1, XACC_ACL_SUFFIX) == 0
+                          || strcmp(name+RPRE_LEN+1, XDEF_ACL_SUFFIX) == 0)))
                                continue;
                }
 
@@ -255,14 +260,6 @@ static int rsync_xal_get(const char *fname, item_list *xalp)
                } else
                        name_offset = datum_len;
 
-#ifdef HAVE_LINUX_XATTRS
-               if (am_root < 0 && name_len > RPRE_LEN && name[RPRE_LEN] != '%'
-                && HAS_PREFIX(name, RSYNC_PREFIX)) {
-                       name += RPRE_LEN;
-                       name_len -= RPRE_LEN;
-               }
-#endif
-
                rxa = EXPAND_ITEM_LIST(xalp, rsync_xa, RSYNC_XAL_INITIAL);
                rxa->name = ptr + name_offset;
                memcpy(rxa->name, name, name_len);
@@ -270,8 +267,12 @@ static int rsync_xal_get(const char *fname, item_list *xalp)
                rxa->name_len = name_len;
                rxa->datum_len = datum_len;
        }
-       if (xalp->count > 1)
-               qsort(xalp->items, xalp->count, sizeof (rsync_xa), rsync_xal_compare_names);
+       count = xalp->count;
+       rxa = xalp->items;
+       if (count > 1)
+               qsort(rxa, count, sizeof (rsync_xa), rsync_xal_compare_names);
+       for (rxa += count-1; count; count--, rxa--)
+               rxa->num = count;
        return 0;
 }
 
@@ -287,6 +288,48 @@ int get_xattr(const char *fname, stat_x *sxp)
        return 0;
 }
 
+int copy_xattrs(const char *source, const char *dest)
+{
+       ssize_t list_len, name_len;
+       size_t datum_len;
+       char *name, *ptr;
+#ifdef HAVE_LINUX_XATTRS
+       int user_only = am_sender ? 0 : !am_root;
+#endif
+
+       /* This puts the name list into the "namebuf" buffer. */
+       if ((list_len = get_xattr_names(source)) < 0)
+               return -1;
+
+       for (name = namebuf; list_len > 0; name += name_len) {
+               name_len = strlen(name) + 1;
+               list_len -= name_len;
+
+#ifdef HAVE_LINUX_XATTRS
+               /* We always ignore the system namespace, and non-root
+                * ignores everything but the user namespace. */
+               if (user_only ? !HAS_PREFIX(name, USER_PREFIX)
+                             : HAS_PREFIX(name, SYSTEM_PREFIX))
+                       continue;
+#endif
+
+               datum_len = 0;
+               if (!(ptr = get_xattr_data(source, name, &datum_len, 0)))
+                       return -1;
+               if (sys_lsetxattr(dest, name, ptr, datum_len) < 0) {
+                       int save_errno = errno ? errno : EINVAL;
+                       rsyserr(FERROR_XFER, errno,
+                               "rsync_xal_set: lsetxattr(\"%s\",\"%s\") failed",
+                               dest, name);
+                       errno = save_errno;
+                       return -1;
+               }
+               free(ptr);
+       }
+
+       return 0;
+}
+
 static int find_matching_xattr(item_list *xalp)
 {
        size_t i, j;
@@ -350,25 +393,32 @@ int send_xattr(stat_x *sxp, int f)
                int count = sxp->xattr->count;
                write_varint(f, count);
                for (rxa = sxp->xattr->items; count--; rxa++) {
+                       size_t name_len = rxa->name_len;
+                       const char *name = rxa->name;
+                       /* Strip the rsync prefix from disguised namespaces. */
+                       if (name_len > RPRE_LEN
 #ifdef HAVE_LINUX_XATTRS
-                       write_varint(f, rxa->name_len);
+                        && am_root < 0
+#endif
+                        && name[RPRE_LEN] != '%' && HAS_PREFIX(name, RSYNC_PREFIX)) {
+                               name += RPRE_LEN;
+                               name_len -= RPRE_LEN;
+                       }
+#ifndef HAVE_LINUX_XATTRS
+                       else {
+                               /* Put everything else in the user namespace. */
+                               name_len += UPRE_LEN;
+                       }
+#endif
+                       write_varint(f, name_len);
                        write_varint(f, rxa->datum_len);
-                       write_buf(f, rxa->name, rxa->name_len);
-#else
-                       /* We strip the rsync prefix from disguised namespaces
-                        * and put everything else in the user namespace. */
-                       if (HAS_PREFIX(rxa->name, RSYNC_PREFIX)
-                        && rxa->name[RPRE_LEN] != '%') {
-                               write_varint(f, rxa->name_len - RPRE_LEN);
-                               write_varint(f, rxa->datum_len);
-                               write_buf(f, rxa->name + RPRE_LEN, rxa->name_len - RPRE_LEN);
-                       } else {
-                               write_varint(f, rxa->name_len + UPRE_LEN);
-                               write_varint(f, rxa->datum_len);
+#ifndef HAVE_LINUX_XATTRS
+                       if (name_len > rxa->name_len) {
                                write_buf(f, USER_PREFIX, UPRE_LEN);
-                               write_buf(f, rxa->name, rxa->name_len);
+                               name_len -= UPRE_LEN;
                        }
 #endif
+                       write_buf(f, name, name_len);
                        if (rxa->datum_len > MAX_FULL_DATUM)
                                write_buf(f, rxa->datum + 1, MAX_DIGEST_LEN);
                        else
@@ -453,26 +503,30 @@ int xattr_diff(struct file_struct *file, stat_x *sxp, int find_all)
        return !xattrs_equal;
 }
 
-/* When called by the generator with a NULL fname, this tells the sender
- * which abbreviated xattr values we need.  When called by the sender
- * (with a non-NULL fname), we send all the extra xattr data it needs. */
+/* When called by the generator (with a NULL fname), this tells the sender
+ * all the abbreviated xattr values we need.  When called by the sender
+ * (with a non-NULL fname), we send all the extra xattr data it needs.
+ * The generator may also call with f_out < 0 to just change all the
+ * XSTATE_ABBREV states into XSTATE_DONE. */
 void send_xattr_request(const char *fname, struct file_struct *file, int f_out)
 {
        item_list *lst = rsync_xal_l.items;
-       int j, cnt, prior_req = -1;
+       int cnt, prior_req = 0;
        rsync_xa *rxa;
 
        lst += F_XATTR(file);
-       cnt = lst->count;
-       for (rxa = lst->items, j = 0; j < cnt; rxa++, j++) {
+       for (rxa = lst->items, cnt = lst->count; cnt--; rxa++) {
                if (rxa->datum_len <= MAX_FULL_DATUM)
                        continue;
                switch (rxa->datum[0]) {
-               case XSTATE_LOCAL:
-                       /* Items set locally will get cached by receiver. */
-                       rxa->datum[0] = XSTATE_DONE;
+               case XSTATE_ABBREV:
+                       /* Items left abbreviated matched the sender's checksum, so
+                        * the receiver will cache the local data for future use. */
+                       if (am_generator)
+                               rxa->datum[0] = XSTATE_DONE;
                        continue;
                case XSTATE_TODO:
+                       assert(f_out >= 0);
                        break;
                default:
                        continue;
@@ -481,8 +535,8 @@ void send_xattr_request(const char *fname, struct file_struct *file, int f_out)
                /* Flag that we handled this abbreviated item. */
                rxa->datum[0] = XSTATE_DONE;
 
-               write_varint(f_out, j - prior_req);
-               prior_req = j;
+               write_varint(f_out, rxa->num - prior_req);
+               prior_req = rxa->num;
 
                if (fname) {
                        size_t len = 0;
@@ -501,28 +555,8 @@ void send_xattr_request(const char *fname, struct file_struct *file, int f_out)
                }
        }
 
-       write_byte(f_out, 0); /* end the list */
-}
-
-/* Any items set locally by the generator that the receiver doesn't
- * get told about get changed back to XSTATE_ABBREV. */
-void xattr_clear_locals(struct file_struct *file)
-{
-       item_list *lst = rsync_xal_l.items;
-       rsync_xa *rxa;
-       int cnt;
-
-       if (F_XATTR(file) < 0)
-               return;
-
-       lst += F_XATTR(file);
-       cnt = lst->count;
-       for (rxa = lst->items; cnt--; rxa++) {
-               if (rxa->datum_len <= MAX_FULL_DATUM)
-                       continue;
-               if (rxa->datum[0] == XSTATE_LOCAL)
-                       rxa->datum[0] = XSTATE_ABBREV;
-       }
+       if (f_out >= 0)
+               write_byte(f_out, 0); /* end the list */
 }
 
 /* When called by the sender, read the request from the generator and mark
@@ -534,7 +568,7 @@ int recv_xattr_request(struct file_struct *file, int f_in)
        item_list *lst = rsync_xal_l.items;
        char *old_datum, *name;
        rsync_xa *rxa;
-       int rel_pos, cnt, got_xattr_data = 0;
+       int rel_pos, cnt, num, got_xattr_data = 0;
 
        if (F_XATTR(file) < 0) {
                rprintf(FERROR, "recv_xattr_request: internal data error!\n");
@@ -544,13 +578,20 @@ int recv_xattr_request(struct file_struct *file, int f_in)
 
        cnt = lst->count;
        rxa = lst->items;
-       rxa -= 1;
+       num = 0;
        while ((rel_pos = read_varint(f_in)) != 0) {
-               rxa += rel_pos;
-               cnt -= rel_pos;
-               if (cnt < 0 || rxa->datum_len <= MAX_FULL_DATUM
-                || rxa->datum[0] != XSTATE_ABBREV) {
-                       rprintf(FERROR, "recv_xattr_request: internal abbrev error!\n");
+               num += rel_pos;
+               while (cnt && rxa->num < num) {
+                   rxa++;
+                   cnt--;
+               }
+               if (!cnt || rxa->num != num) {
+                       rprintf(FERROR, "[%s] could not find xattr #%d for %s\n",
+                               who_am_i(), num, f_name(file, NULL));
+                       exit_cleanup(RERR_STREAMIO);
+               }
+               if (rxa->datum_len <= MAX_FULL_DATUM || rxa->datum[0] != XSTATE_ABBREV) {
+                       rprintf(FERROR, "[%s] internal abbrev error!\n", who_am_i());
                        exit_cleanup(RERR_STREAMIO);
                }
 
@@ -563,7 +604,7 @@ int recv_xattr_request(struct file_struct *file, int f_in)
                rxa->datum_len = read_varint(f_in);
 
                if (rxa->name_len + rxa->datum_len < rxa->name_len)
-                       out_of_memory("recv_xattr_request"); /* overflow */
+                       overflow_exit("recv_xattr_request");
                rxa->datum = new_array(char, rxa->datum_len + rxa->name_len);
                if (!rxa->datum)
                        out_of_memory("recv_xattr_request");
@@ -584,7 +625,12 @@ int recv_xattr_request(struct file_struct *file, int f_in)
 void receive_xattr(struct file_struct *file, int f)
 {
        static item_list temp_xattr = EMPTY_ITEM_LIST;
-       int count;
+       int count, num;
+#ifdef HAVE_LINUX_XATTRS
+       int need_sort = 0;
+#else
+       int need_sort = 1;
+#endif
        int ndx = read_varint(f);
 
        if (ndx < 0 || (size_t)ndx > rsync_xal_l.count) {
@@ -603,17 +649,16 @@ void receive_xattr(struct file_struct *file, int f)
                temp_xattr.count = 0;
        }
 
-       while (count--) {
+       for (num = 1; num <= count; num++) {
                char *ptr, *name;
                rsync_xa *rxa;
                size_t name_len = read_varint(f);
                size_t datum_len = read_varint(f);
                size_t dget_len = datum_len > MAX_FULL_DATUM ? 1 + MAX_DIGEST_LEN : datum_len;
                size_t extra_len = MIGHT_NEED_RPRE ? RPRE_LEN : 0;
-               if (dget_len + extra_len < dget_len)
-                       out_of_memory("receive_xattr"); /* overflow */
-               if (dget_len + extra_len + name_len < dget_len)
-                       out_of_memory("receive_xattr"); /* overflow */
+               if ((dget_len + extra_len < dget_len)
+                || (dget_len + extra_len + name_len < dget_len))
+                       overflow_exit("receive_xattr");
                ptr = new_array(char, dget_len + extra_len + name_len);
                if (!ptr)
                        out_of_memory("receive_xattr");
@@ -627,14 +672,15 @@ void receive_xattr(struct file_struct *file, int f)
                }
 #ifdef HAVE_LINUX_XATTRS
                /* Non-root can only save the user namespace. */
-                       if (am_root <= 0 && !HAS_PREFIX(name, USER_PREFIX)) {
-                               if (!am_root) {
-                                       free(ptr);
-                                       continue;
-                               }
-                               name -= RPRE_LEN;
-                               name_len += RPRE_LEN;
-                               memcpy(name, RSYNC_PREFIX, RPRE_LEN);
+               if (am_root <= 0 && !HAS_PREFIX(name, USER_PREFIX)) {
+                       if (!am_root) {
+                               free(ptr);
+                               continue;
+                       }
+                       name -= RPRE_LEN;
+                       name_len += RPRE_LEN;
+                       memcpy(name, RSYNC_PREFIX, RPRE_LEN);
+                       need_sort = 1;
                }
 #else
                /* This OS only has a user namespace, so we either
@@ -663,8 +709,12 @@ void receive_xattr(struct file_struct *file, int f)
                rxa->datum = ptr;
                rxa->name_len = name_len;
                rxa->datum_len = datum_len;
+               rxa->num = num;
        }
 
+       if (need_sort && count > 1)
+               qsort(temp_xattr.items, count, sizeof (rsync_xa), rsync_xal_compare_names);
+
        ndx = rsync_xal_l.count; /* pre-incremented count */
        rsync_xal_store(&temp_xattr); /* adds item to rsync_xal_l */
 
@@ -694,7 +744,8 @@ static int rsync_xal_set(const char *fname, item_list *xalp,
        ssize_t list_len;
        size_t i, len;
        char *name, *ptr, sum[MAX_DIGEST_LEN];
-       int name_len, ret = 0;
+       size_t name_len;
+       int ret = 0;
 
        /* This puts the current name list into the "namebuf" buffer. */
        if ((list_len = get_xattr_names(fname)) < 0)
@@ -739,8 +790,6 @@ static int rsync_xal_set(const char *fname, item_list *xalp,
                                sxp->st.st_mtime = (time_t)-1;
 
                        if (am_generator) { /* generator items stay abbreviated */
-                               if (rxas[i].datum[0] == XSTATE_ABBREV)
-                                       rxas[i].datum[0] = XSTATE_LOCAL;
                                free(ptr);
                                continue;
                        }