The improved --xattrs option is landing on the trunk.
[rsync/rsync.git] / rsync.h
1 /*
2  * Copyright (C) 1996, 2000 Andrew Tridgell
3  * Copyright (C) 1996 Paul Mackerras
4  * Copyright (C) 2001, 2002 Martin Pool <mbp@samba.org>
5  * Copyright (C) 2003-2007 Wayne Davison
6  *
7  * This program is free software; you can redistribute it and/or modify
8  * it under the terms of the GNU General Public License version 2 as
9  * published by the Free Software Foundation.
10  *
11  * This program is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14  * GNU General Public License for more details.
15  *
16  * You should have received a copy of the GNU General Public License along
17  * with this program; if not, write to the Free Software Foundation, Inc.,
18  * 51 Franklin Street - Fifth Floor, Boston, MA 02110-1301, USA.
19  */
20
21 #define False 0
22 #define True 1
23
24 #define BLOCK_SIZE 700
25 #define RSYNC_RSH_ENV "RSYNC_RSH"
26 #define RSYNC_RSH_IO_ENV "RSYNC_RSH_IO"
27
28 #define RSYNC_NAME "rsync"
29 /* RSYNCD_SYSCONF is now set in config.h */
30 #define RSYNCD_USERCONF "rsyncd.conf"
31
32 #define DEFAULT_LOCK_FILE "/var/run/rsyncd.lock"
33 #define URL_PREFIX "rsync://"
34
35 #define BACKUP_SUFFIX "~"
36
37 /* a non-zero CHAR_OFFSET makes the rolling sum stronger, but is
38    incompatible with older versions :-( */
39 #define CHAR_OFFSET 0
40
41 /* These flags are only used during the flist transfer. */
42
43 #define XMIT_TOP_DIR (1<<0)
44 #define XMIT_SAME_MODE (1<<1)
45 #define XMIT_SAME_RDEV_pre28 (1<<2)     /* protocols 20 - 27  */
46 #define XMIT_EXTENDED_FLAGS (1<<2)      /* protocols 28 - NOW */
47 #define XMIT_SAME_UID (1<<3)
48 #define XMIT_SAME_GID (1<<4)
49 #define XMIT_SAME_NAME (1<<5)
50 #define XMIT_LONG_NAME (1<<6)
51 #define XMIT_SAME_TIME (1<<7)
52 #define XMIT_SAME_RDEV_MAJOR (1<<8)     /* protocols 28 - NOW */
53 #define XMIT_HLINKED (1<<9)             /* protocols 28 - NOW */
54 #define XMIT_SAME_DEV_pre30 (1<<10)     /* protocols 28 - 29  */
55 #define XMIT_USER_NAME_FOLLOWS (1<<10)  /* protocols 30 - NOW */
56 #define XMIT_RDEV_MINOR_8_pre30 (1<<11) /* protocols 28 - 29  */
57 #define XMIT_GROUP_NAME_FOLLOWS (1<<11) /* protocols 30 - NOW */
58 #define XMIT_HLINK_FIRST (1<<12)        /* protocols 30 - NOW */
59
60 /* These flags are used in the live flist data. */
61
62 #define FLAG_TOP_DIR (1<<0)     /* sender/receiver/generator */
63 #define FLAG_FILE_SENT (1<<1)   /* sender/receiver/generator */
64 #define FLAG_DIR_CHANGED (1<<1) /* generator */
65 #define FLAG_XFER_DIR (1<<2)    /* sender/receiver/generator */
66 #define FLAG_MOUNT_DIR (1<<3)   /* sender/generator */
67 #define FLAG_MISSING_DIR (1<<4) /* generator */
68 #define FLAG_HLINKED (1<<5)     /* receiver/generator */
69 #define FLAG_HLINK_FIRST (1<<6) /* receiver/generator */
70 #define FLAG_HLINK_LAST (1<<7)  /* receiver/generator */
71 #define FLAG_HLINK_DONE (1<<8)  /* receiver/generator */
72 #define FLAG_LENGTH64 (1<<9)    /* sender/receiver/generator */
73
74 /* These flags are passed to functions but not stored. */
75
76 #define FLAG_DIVERT_DIRS (1<<16)/* sender */
77
78 #define BITS_SET(val,bits) (((val) & (bits)) == (bits))
79 #define BITS_SETnUNSET(val,onbits,offbits) (((val) & ((onbits)|(offbits))) == (onbits))
80 #define BITS_EQUAL(b1,b2,mask) (((unsigned)(b1) & (unsigned)(mask)) \
81                              == ((unsigned)(b2) & (unsigned)(mask)))
82
83 /* update this if you make incompatible changes */
84 #define PROTOCOL_VERSION 30
85
86 /* We refuse to interoperate with versions that are not in this range.
87  * Note that we assume we'll work with later versions: the onus is on
88  * people writing them to make sure that they don't send us anything
89  * we won't understand.
90  *
91  * Interoperation with old but supported protocol versions
92  * should cause a warning to be printed.  At a future date
93  * the old protocol will become the minimum and
94  * compatibility code removed.
95  *
96  * There are two possible explanations for the limit at
97  * MAX_PROTOCOL_VERSION: either to allow new major-rev versions that
98  * do not interoperate with us, and (more likely) so that we can
99  * detect an attempt to connect rsync to a non-rsync server, which is
100  * unlikely to begin by sending a byte between MIN_PROTOCL_VERSION and
101  * MAX_PROTOCOL_VERSION. */
102
103 #define MIN_PROTOCOL_VERSION 20
104 #define OLD_PROTOCOL_VERSION 25
105 #define MAX_PROTOCOL_VERSION 40
106
107 #define FILECNT_LOOKAHEAD 1000
108
109 #define RSYNC_PORT 873
110
111 #define SPARSE_WRITE_SIZE (1024)
112 #define WRITE_SIZE (32*1024)
113 #define CHUNK_SIZE (32*1024)
114 #define MAX_MAP_SIZE (256*1024)
115 #define IO_BUFFER_SIZE (4092)
116 #define MAX_BLOCK_SIZE ((int32)1 << 29)
117
118 #define IOERR_GENERAL   (1<<0) /* For backward compatibility, this must == 1 */
119 #define IOERR_VANISHED  (1<<1)
120 #define IOERR_DEL_LIMIT (1<<2)
121
122 #define MAX_ARGS 1000
123 #define MAX_BASIS_DIRS 20
124 #define MAX_SERVER_ARGS (MAX_BASIS_DIRS*2 + 100)
125
126 #define MPLEX_BASE 7
127
128 #define NO_FILTERS      0
129 #define SERVER_FILTERS  1
130 #define ALL_FILTERS     2
131
132 #define XFLG_FATAL_ERRORS       (1<<0)
133 #define XFLG_OLD_PREFIXES       (1<<1)
134 #define XFLG_ANCHORED2ABS       (1<<2)
135 #define XFLG_ABS_IF_SLASH       (1<<3)
136
137 #define ATTRS_REPORT            (1<<0)
138 #define ATTRS_SKIP_MTIME        (1<<1)
139
140 #define FULL_FLUSH      1
141 #define NORMAL_FLUSH    0
142
143 #define PDIR_CREATE     1
144 #define PDIR_DELETE     0
145
146 /* Note: 0x00 - 0x7F are used for basis_dir[] indexes! */
147 #define FNAMECMP_BASIS_DIR_LOW  0x00 /* Must remain 0! */
148 #define FNAMECMP_BASIS_DIR_HIGH 0x7F
149 #define FNAMECMP_FNAME          0x80
150 #define FNAMECMP_PARTIAL_DIR    0x81
151 #define FNAMECMP_BACKUP         0x82
152 #define FNAMECMP_FUZZY          0x83
153
154 /* For use by the itemize_changes code */
155 #define ITEM_REPORT_ATIME (1<<0)
156 #define ITEM_REPORT_CHECKSUM (1<<1)
157 #define ITEM_REPORT_SIZE (1<<2)
158 #define ITEM_REPORT_TIME (1<<3)
159 #define ITEM_REPORT_PERMS (1<<4)
160 #define ITEM_REPORT_OWNER (1<<5)
161 #define ITEM_REPORT_GROUP (1<<6)
162 #define ITEM_REPORT_ACL (1<<7)
163 #define ITEM_REPORT_XATTR (1<<8)
164 #define ITEM_BASIS_TYPE_FOLLOWS (1<<11)
165 #define ITEM_XNAME_FOLLOWS (1<<12)
166 #define ITEM_IS_NEW (1<<13)
167 #define ITEM_LOCAL_CHANGE (1<<14)
168 #define ITEM_TRANSFER (1<<15)
169 /* These are outside the range of the transmitted flags. */
170 #define ITEM_MISSING_DATA (1<<16)          /* used by log_formatted() */
171 #define ITEM_DELETED (1<<17)               /* used by log_formatted() */
172 #define ITEM_MATCHED (1<<18)               /* used by itemize() */
173
174 #define SIGNIFICANT_ITEM_FLAGS (~(\
175         ITEM_BASIS_TYPE_FOLLOWS | ITEM_XNAME_FOLLOWS | ITEM_LOCAL_CHANGE))
176
177
178 /* Log-message categories.  Only FERROR and FINFO get sent over the socket,
179  * but FLOG and FSOCKERR can be sent over the receiver -> generator pipe.
180  * FLOG only goes to the log file, not the client; FCLIENT is the opposite. */
181 enum logcode { FNONE=0, FERROR=1, FINFO=2, FLOG=3, FCLIENT=4, FSOCKERR=5 };
182
183 /* Messages types that are sent over the message channel.  The logcode
184  * values must all be present here with identical numbers. */
185 enum msgcode {
186         MSG_DATA=0,     /* raw data on the multiplexed stream */
187         MSG_ERROR=FERROR, MSG_INFO=FINFO, /* remote logging */
188         MSG_LOG=FLOG, MSG_CLIENT=FCLIENT, MSG_SOCKERR=FSOCKERR, /* sibling logging */
189         MSG_REDO=9,     /* reprocess indicated flist index */
190         MSG_FLIST=20,   /* extra file list over sibling socket */
191         MSG_FLIST_EOF=21,/* we've transmitted all the file lists */
192         MSG_IO_ERROR=22,/* the sending side had an I/O error */
193         MSG_NOOP=42,    /* a do-nothing message */
194         MSG_SUCCESS=100,/* successfully updated indicated flist index */
195         MSG_DELETED=101,/* successfully deleted a file on receiving side */
196         MSG_NO_SEND=102,/* sender failed to open a file we wanted */
197         MSG_DONE=86     /* current phase is done */
198 };
199
200 #define NDX_DONE -1
201 #define NDX_FLIST_EOF -2
202 #define NDX_FLIST_OFFSET -101
203
204 #include "errcode.h"
205
206 #include "config.h"
207
208 /* The default RSYNC_RSH is always set in config.h. */
209
210 #include <stdio.h>
211 #ifdef HAVE_SYS_TYPES_H
212 # include <sys/types.h>
213 #endif
214 #ifdef HAVE_SYS_STAT_H
215 # include <sys/stat.h>
216 #endif
217 #ifdef STDC_HEADERS
218 # include <stdlib.h>
219 # include <stddef.h>
220 #else
221 # ifdef HAVE_STDLIB_H
222 #  include <stdlib.h>
223 # endif
224 #endif
225 #ifdef HAVE_STRING_H
226 # if !defined STDC_HEADERS && defined HAVE_MEMORY_H
227 #  include <memory.h>
228 # endif
229 # include <string.h>
230 #endif
231 #ifdef HAVE_STRINGS_H
232 # include <strings.h>
233 #endif
234 #ifdef HAVE_INTTYPES_H
235 # include <inttypes.h>
236 #endif
237 #ifdef HAVE_UNISTD_H
238 # include <unistd.h>
239 #endif
240
241 #ifdef HAVE_SYS_PARAM_H
242 #include <sys/param.h>
243 #endif
244
245 #if defined HAVE_MALLOC_H && (defined HAVE_MALLINFO || !defined HAVE_STDLIB_H)
246 #include <malloc.h>
247 #endif
248
249 #ifdef HAVE_SYS_SOCKET_H
250 #include <sys/socket.h>
251 #endif
252
253 #ifdef TIME_WITH_SYS_TIME
254 #include <sys/time.h>
255 #include <time.h>
256 #else
257 #ifdef HAVE_SYS_TIME_H
258 #include <sys/time.h>
259 #else
260 #include <time.h>
261 #endif
262 #endif
263
264 #ifdef HAVE_FCNTL_H
265 #include <fcntl.h>
266 #else
267 #ifdef HAVE_SYS_FCNTL_H
268 #include <sys/fcntl.h>
269 #endif
270 #endif
271
272 #ifdef HAVE_SYS_IOCTL_H
273 #include <sys/ioctl.h>
274 #endif
275
276 #ifdef HAVE_SYS_FILIO_H
277 #include <sys/filio.h>
278 #endif
279
280 #include <signal.h>
281 #ifdef HAVE_SYS_WAIT_H
282 #include <sys/wait.h>
283 #endif
284 #ifdef HAVE_CTYPE_H
285 #include <ctype.h>
286 #endif
287 #ifdef HAVE_GRP_H
288 #include <grp.h>
289 #endif
290 #include <errno.h>
291
292 #ifdef HAVE_UTIME_H
293 #include <utime.h>
294 #endif
295
296 #ifdef HAVE_SYS_SELECT_H
297 #include <sys/select.h>
298 #endif
299
300 #ifdef HAVE_SYS_MODE_H
301 /* apparently AIX needs this for S_ISLNK */
302 #ifndef S_ISLNK
303 #include <sys/mode.h>
304 #endif
305 #endif
306
307 #ifdef HAVE_GLOB_H
308 #include <glob.h>
309 #endif
310
311 /* these are needed for the uid/gid mapping code */
312 #include <pwd.h>
313 #include <grp.h>
314
315 #include <stdarg.h>
316 #include <netinet/in.h>
317 #include <arpa/inet.h>
318 #include <netdb.h>
319 #include <syslog.h>
320 #include <sys/file.h>
321
322 #ifdef HAVE_DIRENT_H
323 # include <dirent.h>
324 #else
325 # define dirent direct
326 # ifdef HAVE_SYS_NDIR_H
327 #  include <sys/ndir.h>
328 # endif
329 # ifdef HAVE_SYS_DIR_H
330 #  include <sys/dir.h>
331 # endif
332 # ifdef HAVE_NDIR_H
333 #  include <ndir.h>
334 # endif
335 #endif
336
337 #ifdef MAJOR_IN_MKDEV
338 #include <sys/mkdev.h>
339 # if !defined makedev && (defined mkdev || defined _WIN32 || defined __WIN32__)
340 #  define makedev mkdev
341 # endif
342 #elif defined MAJOR_IN_SYSMACROS
343 #include <sys/sysmacros.h>
344 #endif
345
346 #ifdef MAKEDEV_TAKES_3_ARGS
347 #define MAKEDEV(devmajor,devminor) makedev(0,devmajor,devminor)
348 #else
349 #define MAKEDEV(devmajor,devminor) makedev(devmajor,devminor)
350 #endif
351
352 #ifdef HAVE_COMPAT_H
353 #include <compat.h>
354 #endif
355
356 #ifdef HAVE_LIMITS_H
357 # include <limits.h>
358 #endif
359
360 #include <assert.h>
361
362 #include "lib/pool_alloc.h"
363
364 #define BOOL int
365
366 #ifndef uchar
367 #define uchar unsigned char
368 #endif
369
370 #ifdef SIGNED_CHAR_OK
371 #define schar signed char
372 #else
373 #define schar char
374 #endif
375
376 #ifndef int16
377 #if SIZEOF_INT16_T == 2
378 # define int16 int16_t
379 #else
380 # define int16 short
381 #endif
382 #endif
383
384 #ifndef uint16
385 #if SIZEOF_UINT16_T == 2
386 # define uint16 uint16_t
387 #else
388 # define uint16 unsigned int16
389 #endif
390 #endif
391
392 /* Find a variable that is either exactly 32-bits or longer.
393  * If some code depends on 32-bit truncation, it will need to
394  * take special action in a "#if SIZEOF_INT32 > 4" section. */
395 #ifndef int32
396 #if SIZEOF_INT32_T == 4
397 # define int32 int32_t
398 # define SIZEOF_INT32 4
399 #elif SIZEOF_INT == 4
400 # define int32 int
401 # define SIZEOF_INT32 4
402 #elif SIZEOF_LONG == 4
403 # define int32 long
404 # define SIZEOF_INT32 4
405 #elif SIZEOF_SHORT == 4
406 # define int32 short
407 # define SIZEOF_INT32 4
408 #elif SIZEOF_INT > 4
409 # define int32 int
410 # define SIZEOF_INT32 SIZEOF_INT
411 #elif SIZEOF_LONG > 4
412 # define int32 long
413 # define SIZEOF_INT32 SIZEOF_LONG
414 #else
415 # error Could not find a 32-bit integer variable
416 #endif
417 #else
418 # define SIZEOF_INT32 4
419 #endif
420
421 #ifndef uint32
422 #if SIZEOF_UINT32_T == 4
423 # define uint32 uint32_t
424 #else
425 # define uint32 unsigned int32
426 #endif
427 #endif
428
429 #if SIZEOF_OFF_T == 8 || !SIZEOF_OFF64_T || !defined HAVE_STRUCT_STAT64
430 #define OFF_T off_t
431 #define STRUCT_STAT struct stat
432 #else
433 #define OFF_T off64_t
434 #define STRUCT_STAT struct stat64
435 #define USE_STAT64_FUNCS 1
436 #endif
437
438 /* CAVEAT: on some systems, int64 will really be a 32-bit integer IFF
439  * that's the maximum size the file system can handle and there is no
440  * 64-bit type available.  The rsync source must therefore take steps
441  * to ensure that any code that really requires a 64-bit integer has
442  * it (e.g. the checksum code uses two 32-bit integers for its 64-bit
443  * counter). */
444 #if SIZEOF_INT64_T == 8
445 # define int64 int64_t
446 # define SIZEOF_INT64 8
447 #elif SIZEOF_LONG == 8
448 # define int64 long
449 # define SIZEOF_INT64 8
450 #elif SIZEOF_INT == 8
451 # define int64 int
452 # define SIZEOF_INT64 8
453 #elif SIZEOF_LONG_LONG == 8
454 # define int64 long long
455 # define SIZEOF_INT64 8
456 #elif SIZEOF_OFF64_T == 8
457 # define int64 off64_t
458 # define SIZEOF_INT64 8
459 #elif SIZEOF_OFF_T == 8
460 # define int64 off_t
461 # define SIZEOF_INT64 8
462 #elif SIZEOF_INT > 8
463 # define int64 int
464 # define SIZEOF_INT64 SIZEOF_INT
465 #elif SIZEOF_LONG > 8
466 # define int64 long
467 # define SIZEOF_INT64 SIZEOF_LONG
468 #elif SIZEOF_LONG_LONG > 8
469 # define int64 long long
470 # define SIZEOF_INT64 SIZEOF_LONG_LONG
471 #else
472 /* As long as it gets... */
473 # define int64 off_t
474 # define SIZEOF_INT64 SIZEOF_OFF_T
475 #endif
476
477 /* Starting from protocol version 26, we always use 64-bit
478  * ino_t and dev_t internally, even if this platform does not
479  * allow files to have 64-bit inums.  That's because the
480  * receiver needs to find duplicate (dev,ino) tuples to detect
481  * hardlinks, and it might have files coming from a platform
482  * that has 64-bit inums.
483  *
484  * The only exception is if we're on a platform with no 64-bit type at
485  * all.
486  *
487  * Because we use read_longint() to get these off the wire, if you
488  * transfer devices or hardlinks with dev or inum > 2**32 to a machine
489  * with no 64-bit types then you will get an overflow error.  Probably
490  * not many people have that combination of machines, and you can
491  * avoid it by not preserving hardlinks or not transferring device
492  * nodes.  It's not clear that any other behaviour is better.
493  *
494  * Note that if you transfer devices from a 64-bit-devt machine (say,
495  * Solaris) to a 32-bit-devt machine (say, Linux-2.2/x86) then the
496  * device numbers will be truncated.  But it's a kind of silly thing
497  * to do anyhow.
498  *
499  * FIXME: I don't think the code in flist.c has ever worked on a system
500  * where dev_t is a struct.
501  */
502
503 struct idev_node {
504         int64 key;
505         void *data;
506 };
507
508 #ifndef MIN
509 #define MIN(a,b) ((a)<(b)?(a):(b))
510 #endif
511
512 #ifndef MAX
513 #define MAX(a,b) ((a)>(b)?(a):(b))
514 #endif
515
516 #ifndef MAXHOSTNAMELEN
517 #define MAXHOSTNAMELEN 256
518 #endif
519
520 #define SUM_LENGTH 16
521 #define SHORT_SUM_LENGTH 2
522 #define BLOCKSUM_BIAS 10
523
524 #ifndef MAXPATHLEN
525 #define MAXPATHLEN 1024
526 #endif
527
528 /* We want a roomy line buffer that can hold more than MAXPATHLEN,
529  * and significantly more than an overly short MAXPATHLEN. */
530 #if MAXPATHLEN < 4096
531 #define BIGPATHBUFLEN (4096+1024)
532 #else
533 #define BIGPATHBUFLEN (MAXPATHLEN+1024)
534 #endif
535
536 #ifndef NAME_MAX
537 #define NAME_MAX 255
538 #endif
539
540 #ifndef INADDR_NONE
541 #define INADDR_NONE 0xffffffff
542 #endif
543
544 #ifndef IN_LOOPBACKNET
545 #define IN_LOOPBACKNET 127
546 #endif
547
548 #if HAVE_UNIXWARE_ACLS|HAVE_SOLARIS_ACLS|HAVE_HPUX_ACLS
549 #define ACLS_NEED_MASK 1
550 #endif
551
552 #define GID_NONE ((gid_t)-1)
553
554 union file_extras {
555         int32 num;
556         uint32 unum;
557 };
558
559 struct file_struct {
560         const char *dirname;    /* The dir info inside the transfer */
561         time_t modtime;         /* When the item was last modified */
562         uint32 len32;           /* Lowest 32 bits of the file's length */
563         uint16 mode;            /* The item's type and permissions */
564         uint16 flags;           /* The FLAG_* bits for this item */
565         const char basename[1]; /* The basename (AKA filename) follows */
566 };
567
568 extern int file_extra_cnt;
569 extern int preserve_uid;
570 extern int preserve_gid;
571 extern int preserve_acls;
572 extern int preserve_xattrs;
573
574 #define FILE_STRUCT_LEN (offsetof(struct file_struct, basename))
575 #define EXTRA_LEN (sizeof (union file_extras))
576 #define PTR_EXTRA_LEN ((sizeof (char *) + EXTRA_LEN - 1) / EXTRA_LEN)
577 #define SUM_EXTRA_CNT ((MAX_DIGEST_LEN + EXTRA_LEN - 1) / EXTRA_LEN)
578
579 #define REQ_EXTRA(f,ndx) ((union file_extras*)(f) - (ndx))
580 #define OPT_EXTRA(f,bump) ((union file_extras*)(f) - file_extra_cnt - 1 - (bump))
581
582 #define LEN64_BUMP(f) ((f)->flags & FLAG_LENGTH64 ? 1 : 0)
583 #define HLINK_BUMP(f) (F_IS_HLINKED(f) ? 1 : 0)
584
585 /* The length applies to all items. */
586 #if SIZEOF_INT64 < 8
587 #define F_LENGTH(f) ((int64)(f)->len32)
588 #else
589 #define F_LENGTH(f) ((int64)(f)->len32 + ((f)->flags & FLAG_LENGTH64 \
590                    ? (int64)OPT_EXTRA(f, 0)->unum << 32 : 0))
591 #endif
592
593 /* If there is a symlink string, it is always right after the basename */
594 #define F_SYMLINK(f) ((f)->basename + strlen((f)->basename) + 1)
595
596 /* The sending side always has this available: */
597 #define F_ROOTDIR(f) (*(const char**)REQ_EXTRA(f, PTR_EXTRA_LEN))
598
599 /* The receiving side always has this available: */
600 #define F_DEPTH(f) REQ_EXTRA(f, 1)->num
601
602 /* When the associated option is on, all entries will have these present: */
603 #define F_OWNER(f) REQ_EXTRA(f, preserve_uid)->unum
604 #define F_GROUP(f) REQ_EXTRA(f, preserve_gid)->unum
605 #define F_ACL(f) REQ_EXTRA(f, preserve_acls)->num
606 #define F_XATTR(f) REQ_EXTRA(f, preserve_xattrs)->num
607
608 /* These items are per-entry optional and mutally exclusive: */
609 #define F_HL_GNUM(f) OPT_EXTRA(f, LEN64_BUMP(f))->num
610 #define F_HL_PREV(f) OPT_EXTRA(f, LEN64_BUMP(f))->num
611 #define F_DEF_ACL(f) OPT_EXTRA(f, LEN64_BUMP(f))->unum
612 #define F_DIRDEV_P(f) (&OPT_EXTRA(f, LEN64_BUMP(f) + 2 - 1)->unum)
613 #define F_DIRNODE_P(f) (&OPT_EXTRA(f, LEN64_BUMP(f) + 3 - 1)->num)
614
615 /* This optional item might follow an F_HL_*() item.
616  * (Note: a device doesn't need to check LEN64_BUMP(f).) */
617 #define F_RDEV_P(f) (&OPT_EXTRA(f, HLINK_BUMP(f) + 2 - 1)->unum)
618
619 /* The sum is only present on regular files. */
620 #define F_SUM(f) ((const char*)OPT_EXTRA(f, LEN64_BUMP(f) + HLINK_BUMP(f) \
621                                           + SUM_EXTRA_CNT - 1))
622
623 /* Some utility defines: */
624 #define F_IS_ACTIVE(f) (f)->basename[0]
625 #define F_IS_HLINKED(f) ((f)->flags & FLAG_HLINKED)
626
627 #define F_HLINK_NOT_FIRST(f) BITS_SETnUNSET((f)->flags, FLAG_HLINKED, FLAG_HLINK_FIRST)
628 #define F_HLINK_NOT_LAST(f) BITS_SETnUNSET((f)->flags, FLAG_HLINKED, FLAG_HLINK_LAST)
629
630 #define F_UID(f) ((uid_t)F_OWNER(f))
631 #define F_GID(f) ((gid_t)F_GROUP(f))
632
633 #define DEV_MAJOR(a) (a)[0]
634 #define DEV_MINOR(a) (a)[1]
635
636 #define DIR_PARENT(a) (a)[0]
637 #define DIR_FIRST_CHILD(a) (a)[1]
638 #define DIR_NEXT_SIBLING(a) (a)[2]
639
640 /*
641  * Start the flist array at FLIST_START entries and grow it
642  * by doubling until FLIST_LINEAR then grow by FLIST_LINEAR
643  */
644 #define FLIST_START     (32 * 1024)
645 #define FLIST_LINEAR    (FLIST_START * 512)
646
647 /*
648  * Extent size for allocation pools: A minimum size of 128KB
649  * is needed to mmap them so that freeing will release the
650  * space to the OS.
651  *
652  * Larger sizes reduce leftover fragments and speed free calls
653  * (when they happen). Smaller sizes increase the chance of
654  * freed allocations freeing whole extents.
655  */
656 #define FILE_EXTENT     (256 * 1024)
657 #define HLINK_EXTENT    (128 * 1024)
658
659 #define FLIST_TEMP      (1<<1)
660
661 struct file_list {
662         struct file_list *next, *prev;
663         struct file_struct **files;
664         alloc_pool_t file_pool;
665         int count, malloced;
666         int low, high; /* 0-relative index values excluding empties */
667         int ndx_start; /* the start offset for inc_recurse mode */
668         int parent_ndx; /* dir_flist index of parent directory */
669         int in_progress, to_redo;
670 };
671
672 #define SUMFLG_SAME_OFFSET      (1<<0)
673
674 struct sum_buf {
675         OFF_T offset;           /**< offset in file of this chunk */
676         int32 len;              /**< length of chunk of file */
677         uint32 sum1;            /**< simple checksum */
678         int32 chain;            /**< next hash-table collision */
679         short flags;            /**< flag bits */
680         char sum2[SUM_LENGTH];  /**< checksum  */
681 };
682
683 struct sum_struct {
684         OFF_T flength;          /**< total file length */
685         struct sum_buf *sums;   /**< points to info for each chunk */
686         int32 count;            /**< how many chunks */
687         int32 blength;          /**< block_length */
688         int32 remainder;        /**< flength % block_length */
689         int s2length;           /**< sum2_length */
690 };
691
692 struct map_struct {
693         OFF_T file_size;        /* File size (from stat)                */
694         OFF_T p_offset;         /* Window start                         */
695         OFF_T p_fd_offset;      /* offset of cursor in fd ala lseek     */
696         char *p;                /* Window pointer                       */
697         int32 p_size;           /* Largest window size we allocated     */
698         int32 p_len;            /* Latest (rounded) window size         */
699         int32 def_window_size;  /* Default window size                  */
700         int fd;                 /* File Descriptor                      */
701         int status;             /* first errno from read errors         */
702 };
703
704 #define MATCHFLG_WILD           (1<<0) /* pattern has '*', '[', and/or '?' */
705 #define MATCHFLG_WILD2          (1<<1) /* pattern has '**' */
706 #define MATCHFLG_WILD2_PREFIX   (1<<2) /* pattern starts with "**" */
707 #define MATCHFLG_WILD3_SUFFIX   (1<<3) /* pattern ends with "***" */
708 #define MATCHFLG_ABS_PATH       (1<<4) /* path-match on absolute path */
709 #define MATCHFLG_INCLUDE        (1<<5) /* this is an include, not an exclude */
710 #define MATCHFLG_DIRECTORY      (1<<6) /* this matches only directories */
711 #define MATCHFLG_WORD_SPLIT     (1<<7) /* split rules on whitespace */
712 #define MATCHFLG_NO_INHERIT     (1<<8) /* don't inherit these rules */
713 #define MATCHFLG_NO_PREFIXES    (1<<9) /* parse no prefixes from patterns */
714 #define MATCHFLG_MERGE_FILE     (1<<10)/* specifies a file to merge */
715 #define MATCHFLG_PERDIR_MERGE   (1<<11)/* merge-file is searched per-dir */
716 #define MATCHFLG_EXCLUDE_SELF   (1<<12)/* merge-file name should be excluded */
717 #define MATCHFLG_FINISH_SETUP   (1<<13)/* per-dir merge file needs setup */
718 #define MATCHFLG_NEGATE         (1<<14)/* rule matches when pattern does not */
719 #define MATCHFLG_CVS_IGNORE     (1<<15)/* rule was -C or :C */
720 #define MATCHFLG_SENDER_SIDE    (1<<16)/* rule applies to the sending side */
721 #define MATCHFLG_RECEIVER_SIDE  (1<<17)/* rule applies to the receiving side */
722 #define MATCHFLG_CLEAR_LIST     (1<<18)/* this item is the "!" token */
723 #define MATCHFLG_PERISHABLE     (1<<19)/* perishable if parent dir goes away */
724
725 #define MATCHFLGS_FROM_CONTAINER (MATCHFLG_ABS_PATH | MATCHFLG_INCLUDE \
726                                 | MATCHFLG_DIRECTORY | MATCHFLG_SENDER_SIDE \
727                                 | MATCHFLG_NEGATE | MATCHFLG_RECEIVER_SIDE \
728                                 | MATCHFLG_PERISHABLE)
729
730 struct filter_struct {
731         struct filter_struct *next;
732         char *pattern;
733         uint32 match_flags;
734         union {
735                 int slash_cnt;
736                 struct filter_list_struct *mergelist;
737         } u;
738 };
739
740 struct filter_list_struct {
741         struct filter_struct *head;
742         struct filter_struct *tail;
743         char *debug_type;
744 };
745
746 struct stats {
747         int64 total_size;
748         int64 total_transferred_size;
749         int64 total_written;
750         int64 total_read;
751         int64 literal_data;
752         int64 matched_data;
753         int64 flist_buildtime;
754         int64 flist_xfertime;
755         int64 flist_size;
756         int num_files;
757         int num_transferred_files;
758         int current_file_index;
759 };
760
761 struct chmod_mode_struct;
762
763 #define EMPTY_ITEM_LIST {NULL, 0, 0}
764
765 typedef struct {
766         void *items;
767         size_t count;
768         size_t malloced;
769 } item_list;
770
771 #define EXPAND_ITEM_LIST(lp, type, incr) \
772         (type*)expand_item_list(lp, sizeof (type), #type, incr)
773
774 #include "byteorder.h"
775 #include "lib/mdigest.h"
776 #include "lib/wildmatch.h"
777 #include "lib/permstring.h"
778 #include "lib/addrinfo.h"
779
780 #ifndef __GNUC__
781 #define __attribute__(x)
782 # if __GNUC__ <= 2
783 # define NORETURN
784 # endif
785 #endif
786
787 #define UNUSED(x) x __attribute__((__unused__))
788 #ifndef NORETURN
789 #define NORETURN __attribute__((__noreturn__))
790 #endif
791
792 typedef struct {
793     STRUCT_STAT st;
794 #ifdef SUPPORT_ACLS
795     struct rsync_acl *acc_acl; /* access ACL */
796     struct rsync_acl *def_acl; /* default ACL */
797 #endif
798 #ifdef SUPPORT_XATTRS
799     item_list *xattr;
800 #endif
801 } statx;
802
803 #define ACL_READY(sx) ((sx).acc_acl != NULL)
804 #define XATTR_READY(sx) ((sx).xattr != NULL)
805
806 #include "proto.h"
807
808 /* We have replacement versions of these if they're missing. */
809 #ifndef HAVE_ASPRINTF
810 int asprintf(char **ptr, const char *format, ...);
811 #endif
812
813 #ifndef HAVE_VASPRINTF
814 int vasprintf(char **ptr, const char *format, va_list ap);
815 #endif
816
817 #if !defined HAVE_VSNPRINTF || !defined HAVE_C99_VSNPRINTF
818 #define vsnprintf rsync_vsnprintf
819 int vsnprintf(char *str, size_t count, const char *fmt, va_list args);
820 #endif
821
822 #if !defined HAVE_SNPRINTF || !defined HAVE_C99_VSNPRINTF
823 #define snprintf rsync_snprintf
824 int snprintf(char *str, size_t count, const char *fmt,...);
825 #endif
826
827
828 #ifndef HAVE_STRERROR
829 extern char *sys_errlist[];
830 #define strerror(i) sys_errlist[i]
831 #endif
832
833 #ifndef HAVE_STRCHR
834 # define strchr                 index
835 # define strrchr                rindex
836 #endif
837
838 #ifndef HAVE_ERRNO_DECL
839 extern int errno;
840 #endif
841
842 #ifdef HAVE_READLINK
843 #define SUPPORT_LINKS 1
844 #endif
845 #ifdef HAVE_LINK
846 #define SUPPORT_HARD_LINKS 1
847 #endif
848
849 #ifdef HAVE_SIGACTION
850 #define SIGACTION(n,h) sigact.sa_handler=(h), sigaction((n),&sigact,NULL)
851 #define signal(n,h) we_need_to_call_SIGACTION_not_signal(n,h)
852 #else
853 #define SIGACTION(n,h) signal(n,h)
854 #endif
855
856 #ifndef EWOULDBLOCK
857 #define EWOULDBLOCK EAGAIN
858 #endif
859
860 #ifndef STDIN_FILENO
861 #define STDIN_FILENO 0
862 #endif
863
864 #ifndef STDOUT_FILENO
865 #define STDOUT_FILENO 1
866 #endif
867
868 #ifndef STDERR_FILENO
869 #define STDERR_FILENO 2
870 #endif
871
872 #ifndef S_IRUSR
873 #define S_IRUSR 0400
874 #endif
875
876 #ifndef S_IWUSR
877 #define S_IWUSR 0200
878 #endif
879
880 #ifndef ACCESSPERMS
881 #define ACCESSPERMS 0777
882 #endif
883
884 #ifndef S_ISVTX
885 #define S_ISVTX 0
886 #endif
887
888 #define CHMOD_BITS (S_ISUID | S_ISGID | S_ISVTX | ACCESSPERMS)
889
890 #ifndef _S_IFMT
891 #define _S_IFMT        0170000
892 #endif
893
894 #ifndef _S_IFLNK
895 #define _S_IFLNK  0120000
896 #endif
897
898 #ifndef S_ISLNK
899 #define S_ISLNK(mode) (((mode) & (_S_IFMT)) == (_S_IFLNK))
900 #endif
901
902 #ifndef S_ISBLK
903 #define S_ISBLK(mode) (((mode) & (_S_IFMT)) == (_S_IFBLK))
904 #endif
905
906 #ifndef S_ISCHR
907 #define S_ISCHR(mode) (((mode) & (_S_IFMT)) == (_S_IFCHR))
908 #endif
909
910 #ifndef S_ISSOCK
911 #ifdef _S_IFSOCK
912 #define S_ISSOCK(mode) (((mode) & (_S_IFMT)) == (_S_IFSOCK))
913 #else
914 #define S_ISSOCK(mode) (0)
915 #endif
916 #endif
917
918 #ifndef S_ISFIFO
919 #ifdef _S_IFIFO
920 #define S_ISFIFO(mode) (((mode) & (_S_IFMT)) == (_S_IFIFO))
921 #else
922 #define S_ISFIFO(mode) (0)
923 #endif
924 #endif
925
926 #ifndef S_ISDIR
927 #define S_ISDIR(mode) (((mode) & (_S_IFMT)) == (_S_IFDIR))
928 #endif
929
930 #ifndef S_ISREG
931 #define S_ISREG(mode) (((mode) & (_S_IFMT)) == (_S_IFREG))
932 #endif
933
934 /* work out what fcntl flag to use for non-blocking */
935 #ifdef O_NONBLOCK
936 # define NONBLOCK_FLAG O_NONBLOCK
937 #elif defined SYSV
938 # define NONBLOCK_FLAG O_NDELAY
939 #else
940 # define NONBLOCK_FLAG FNDELAY
941 #endif
942
943 #ifndef INADDR_LOOPBACK
944 #define INADDR_LOOPBACK 0x7f000001
945 #endif
946
947 #ifndef INADDR_NONE
948 #define INADDR_NONE 0xffffffff
949 #endif
950
951 #define IS_SPECIAL(mode) (S_ISSOCK(mode) || S_ISFIFO(mode))
952 #define IS_DEVICE(mode) (S_ISCHR(mode) || S_ISBLK(mode))
953
954 /* Initial mask on permissions given to temporary files.  Mask off setuid
955      bits and group access because of potential race-condition security
956      holes, and mask other access because mode 707 is bizarre */
957 #define INITACCESSPERMS 0700
958
959 /* handler for null strings in printf format */
960 #define NS(s) ((s)?(s):"<NULL>")
961
962 /* Convenient wrappers for malloc and realloc.  Use them. */
963 #define new(type) ((type *)malloc(sizeof(type)))
964 #define new_array(type, num) ((type *)_new_array(sizeof(type), (num)))
965 #define realloc_array(ptr, type, num) ((type *)_realloc_array((ptr), sizeof(type), (num)))
966
967 /* use magic gcc attributes to catch format errors */
968  void rprintf(enum logcode , const char *, ...)
969      __attribute__((format (printf, 2, 3)))
970 ;
971
972 /* This is just like rprintf, but it also tries to print some
973  * representation of the error code.  Normally errcode = errno. */
974 void rsyserr(enum logcode, int, const char *, ...)
975      __attribute__((format (printf, 3, 4)))
976      ;
977
978 /* Make sure that the O_BINARY flag is defined. */
979 #ifndef O_BINARY
980 #define O_BINARY 0
981 #endif
982
983 #ifndef HAVE_STRLCPY
984 size_t strlcpy(char *d, const char *s, size_t bufsize);
985 #endif
986
987 #ifndef HAVE_STRLCAT
988 size_t strlcat(char *d, const char *s, size_t bufsize);
989 #endif
990
991 #ifndef WEXITSTATUS
992 #define WEXITSTATUS(stat)       ((int)(((stat)>>8)&0xFF))
993 #endif
994 #ifndef WIFEXITED
995 #define WIFEXITED(stat)         ((int)((stat)&0xFF) == 0)
996 #endif
997
998 #define exit_cleanup(code) _exit_cleanup(code, __FILE__, __LINE__)
999
1000 #ifdef HAVE_GETEUID
1001 #define MY_UID() geteuid()
1002 #else
1003 #define MY_UID() getuid()
1004 #endif
1005
1006 #ifdef HAVE_GETEGID
1007 #define MY_GID() getegid()
1008 #else
1009 #define MY_GID() getgid()
1010 #endif
1011
1012 extern int verbose;
1013
1014 #ifndef HAVE_INET_NTOP
1015 const char *inet_ntop(int af, const void *src, char *dst, size_t size);
1016 #endif
1017
1018 #ifndef HAVE_INET_PTON
1019 int inet_pton(int af, const char *src, void *dst);
1020 #endif
1021
1022 #ifdef MAINTAINER_MODE
1023 const char *get_panic_action(void);
1024 #endif
1025
1026 static inline int
1027 isDigit(const char *ptr)
1028 {
1029         return isdigit(*(unsigned char *)ptr);
1030 }
1031
1032 static inline int
1033 isPrint(const char *ptr)
1034 {
1035         return isprint(*(unsigned char *)ptr);
1036 }
1037
1038 static inline int
1039 isSpace(const char *ptr)
1040 {
1041         return isspace(*(unsigned char *)ptr);
1042 }
1043
1044 static inline int
1045 isLower(const char *ptr)
1046 {
1047         return islower(*(unsigned char *)ptr);
1048 }
1049
1050 static inline int
1051 isUpper(const char *ptr)
1052 {
1053         return isupper(*(unsigned char *)ptr);
1054 }
1055
1056 static inline int
1057 toLower(const char *ptr)
1058 {
1059         return tolower(*(unsigned char *)ptr);
1060 }
1061
1062 static inline int
1063 toUpper(const char *ptr)
1064 {
1065         return toupper(*(unsigned char *)ptr);
1066 }