NEWS

   1 NEWS for rsync 3.0.0 (UNRELEASED)
   2 Protocol: 30 (changed)
   3 Changes since 2.6.9:
   4
   5   NOTABLE CHANGES IN BEHAVIOR:
   6
   7     - The handling of implied directories when using --relative has changed to
   8       send them as directories (e.g. no implied dir is ever sent as a symlink).
   9       This avoids unexpected behavior and should not adversely affect most
  10       people.  If you're one of those rare individuals who relied upon having
  11       an implied dir be duplicated as a symlink, you should specify the
  12       transfer of the symlink and the transfer of the referent directory as
  13       separate args.  (See also --keep-dirlinks and --no-implied-dirs.)
  14
  15     - Requesting a remote file list without specifying -r (--recursive) now
  16       sends the -d (--dirs) option to the remote rsync rather than sending -r
  17       along with an extra exclude of /*/*.  If the remote rsync does not
  18       understand the -d option (i.e. it is 2.6.3 or older), you will need to
  19       either turn off -d (--no-d), or specify  -r --exclude='/*/*'  manually.
  20
  21     - In --dry-run mode, the last line of the verbose summary text is output
  22       with a "(DRY RUN)" suffix to help remind you that no updates were made.
  23
  24     - A writable rsync daemon that disables "use chroot" now defaults to a
  25       symlink-munging behavior designed to make symlinks safer while also
  26       allowing absolute symlinks to be stored and retrieved.  This also has
  27       the effect of making symlinks unusable while they're in the daemon's
  28       hierarchy.  See the daemon option "munge symlinks" for full details.
  29
  30   BUG FIXES:
  31
  32     - A daemon with "use chroot = no" and excluded items listed in the daemon
  33       config file now properly checks an absolute-path arg specified for these
  34       options:  --compare-dest, --link-dest, --copy-dest, --partial-dir,
  35       --backup-dir, --temp-dir, and --files-from.
  36
  37     - If a file's data arrived successfully on the receiving side but the
  38       rename of the tempory file to the destination file failed AND the
  39       --remove-souce-files (or the deprecated --remove-sent-files) option
  40       was specified, rsync no longer erroneously removes the associated
  41       source file.
  42
  43     - Fixed the output of -ii when combined with one of the --*-dest options:
  44       it now itemizes all the items, not just the changed ones.
  45
  46     - Made the output of all file types consistent when using a --*-dest
  47       option.  Prior versions would output too many creation events for
  48       matching items.
  49
  50     - The code that waits for a child pid now handles being interrupted by a
  51       signal.  This fixes a problem with the pre-xfer exec function not being
  52       able to get the exit status from the script.
  53
  54     - A negated filter rule (i.e. with a '!' modifier) no longer loses the
  55       negation when sending the filter rules to the remote rsync.
  56
  57     - Fixed a problem with the --out-format (aka --log-format) option %f:  it
  58       no longer outputs superfluous directory info for a non-daemon rsync.
  59
  60     - Fixed a problem with -vv (double --verbose) and --stats when "pushing"
  61       files (which includes local copies).  Version 2.6.9 would complete the
  62       copy, but exit with an error when the receiver output its memory stats.
  63
  64     - If --password-file is used on a non-daemon transfer, rsync now complains
  65       and exits.  This should help users figure out that they can't use this
  66       option to control a remote shell's password prompt.
  67
  68     - Make sure that directory permissions of a newly-created destination
  69       directory are handled right when --perms is left off.
  70
  71     - The itemized output of a newly-created destination directory is now
  72       output as a creation event, not a change event.
  73
  74     - Improved --hard-link so that more corner cases are handled correctly
  75       when combined with options such as --link-dest and/or --ignore-existing.
  76
  77     - The --append option no longer updates a file that has the same size.
  78
  79     - Fixed a bug when combining --backup and --backup-dir with --inplace:
  80       any missing backup directories are now created.
  81
  82     - Fixed a bug when using --backup and --inplace with --whole-file or
  83       --read-batch: backup files are actually created now.
  84
  85     - Starting up an extra copy of an rsync daemon will not clobber the pidfile
  86       for the running daemon -- if the pidfile exists, the new daemon will exit
  87       with an error.
  88
  89     - The daemon pidfile is checked and created sooner in the startup sequence.
  90
  91     - If a daemon module's "path" value is not an absolute pathname, the code
  92       now makes it absolute internally (making it work properly).
  93
  94     - Ensure that a temporary file always has owner-write permission while we
  95       are writing to it.  This avoids problems with some network filesystems.
  96
  97     - Any errors output about password-file reading no longer cause an error at
  98       the end of the run about a partial transfer.
  99
 100     - Using --only-write-batch to a daemon receiver now work properly (older
 101       versions would update some files while writing the batch).
 102
 103   ENHANCEMENTS:
 104
 105     - A new incremental-recursion algorithm is now used when rsync is talking
 106       to another 3.x version.  This starts the transfer going more quickly
 107       (before all the files have been found), and requires much less memory.
 108       See the --recursive option in the manpage for some restrictions.
 109
 110     - Lowered memory use in the non-incremental-recursion algorithm for typical
 111       option values (usually saving from 21-29 bytes per file).
 112
 113     - The default --delete algorithm is now --delete-during when talking to a
 114       3.x rsync.  This is a faster scan than using --delete-before (which is
 115       the default when talking to older rsync versions), and is compatible with
 116       the new incremental recursion mode.
 117
 118     - Rsync now allows multiple remote-source args to be specified rather than
 119       having to rely on a special space-splitting side-effect of the remote-
 120       shell.  Additional remote args must specify the same host or an empty one
 121       (e.g. empty:  :file1  or  ::module/file2).  This means that local use of
 122       brace expansion now works:  rsync -av host:dir/{f1,f2} .
 123
 124     - Added the --protect-args (-s) option, that tells rsync to send most of
 125       the command-line args at the start of the transfer rather than as args
 126       to the remote-shell command.  This protects them from space-splitting,
 127       and only interprets basic wildcard special shell characters (*?[).
 128
 129     - Added the --delete-delay option, which is a more efficient way to delete
 130       files at the end of the transfer without needing a separate delete pass.
 131
 132     - Added the --acls (-A) option to preserve Access Control Lists.  This is
 133       an improved version of the prior patch that was available, and it even
 134       supports OS X ACLs.  If you need to have backward compatibility with old,
 135       acl-patched versions of rsync, apply the acls.diff file from the patches
 136       dir.
 137
 138     - Added the --xattrs (-X) option to preserver extended attributes.  This is
 139       an improved version of the prior patch that was available, and it even
 140       supports OS X xattrs (which includes their resource fork data).  If you
 141       need to have backward compatibility with old, xattr-patched versions of
 142       rsync, apply the xattrs.diff file from the patches dir.
 143
 144     - Added the --fake-super option that allows a non-super user to preserve
 145       all attributes of a file by using a special extended-attribute idiom.
 146       It even supports the storing of foreign ACL data on your backup server.
 147       There is also an analogous "fake super" option for an rsync daemon.
 148
 149     - Added the --iconv option, which allows rsync to convert filenames from
 150       one character-set to another during the transfer.  The default is to make
 151       this feature available as long as your system has iconv_open().  If
 152       compilation fails, specify --disable-iconv to configure, and then
 153       rebuild.  If you want rsync to perform character-set conversions by
 154       default, you can specify --enable-iconv=CONVERT_STRING with the default
 155       value for the --iconv option that you wish to use.  For example,
 156       "--enable-iconv=." is a good choice.  See the rsync manpage for an
 157       explanation of the --iconv option's settings.
 158
 159     - Added the --skip-compress=LIST option to override the default list of
 160       file suffixes that will not be compressed when using --compress.
 161
 162     - The daemon's default for "dont compress" was extended to include:
 163           *.7z *.mp[34] *.mov *.avi *.ogg *.jpg *.jpeg
 164       The matching routine was also optimized to run more quickly.
 165
 166     - The --max-delete option now outputs a warning if it skipped any file
 167       deletions, including a count of how many deletions were skipped.  (Older
 168       versions just silently stopped deleting things.)
 169
 170     - You may specify --max-delete=0 to a 3.0.0 client to request that it warn
 171       about extraneous files without deleting anything.  If you're not sure
 172       what version the client is, you can use the less-obvious --max-delete=-1,
 173       as both old and new versions will treat that as the same request (though
 174       older versions don't warn).
 175
 176     - The --hard-link option now uses less memory on both the sending and
 177       receiving side for all protocol versions.  For protocol 30, the use of a
 178       hashtable on the sending side allows us to more efficiently convey to the
 179       receiver what files are linked together.  This reduces the amount of data
 180       sent over the socket by a considerable margin (rather than adding more
 181       data), and limits the in-memory storage of the device+inode information
 182       to just the sending side for the new protocol 30, or to the receiving
 183       side when speaking an older protocol (note that older rsync versions kept
 184       the device+inode information on both sides).
 185
 186     - The filter rules now support a perishable ("p") modifier that marks rules
 187       that should not have an effect in a directory that is being deleted.  e.g.
 188       -f '-p .svn/' would only affect "live" .svn directories.
 189
 190     - Rsync checks all the alternate-destination args for validity (e.g.
 191       --link-dest).  This lets the user know when they specified a directory
 192       that does not exist.
 193
 194     - If we get an error setting the time on a symlink, we don't complain about
 195       it anymore (since some operating systems don't support that, and it's not
 196       that important).
 197
 198     - Protocol 30 now uses MD5 checksums instead of MD4.
 199
 200     - Changed the --append option to not checksum the existing data in the
 201       destination file, which speeds up file appending.
 202
 203     - Added the --append-verify option, which works like the older --append
 204       option (verifying the existing data in the destination file).  For
 205       compatibility with older rsync versions, any use of --append that is
 206       talking protocol 29 or older will revert to the --append-verify method.
 207
 208     - Added the --contimeout=SECONDS option that lets the user specify a
 209       connection timeout for rsync daemon access.
 210
 211     - Documented and extended the support for the RSYNC_CONNECT_PROG variable
 212       that can be used to enhance the client side of a daemon connection.
 213
 214     - Improved the dashes and double-quotes in the nroff manpage output.
 215
 216     - We now support a lot more --no-OPTION override options.
 217
 218   INTERNAL:
 219
 220     - The file-list sorting algorithm now uses a sort that keeps any same-
 221       named items in the same order as they were specified.  This allows
 222       rsync to always ensure that the first of the duplicates is the one
 223       that will be included in the copy.  The new sort was also faster
 224       than the glibc version of qsort() and mergesort() in my testing.
 225
 226     - Rsync now supports the transfer of 64-bit timestamps (time_t values).
 227
 228     - Fixed a build problem with older (2.x) versions of gcc.
 229
 230     - Added some isType() functions that make dealing with signed characters
 231       easier without forcing variables via casts.
 232
 233     - Changed strcat/strcpy/sprintf function calls to use safer versions.
 234
 235     - Upgraded the included popt version to 1.10.2 and improved its use of
 236       string-handling functions.
 237
 238     - Added missing prototypes for compatibility functions from the lib dir.
 239
 240     - Configure determines if iconv() has a const arg, allowing us to avoid a
 241       compiler warning.
 242
 243     - Made the sending of some numbers more efficient for protocol 30.
 244
 245     - Make sure that a daemon process doesn't mind if the client was weird and
 246       omitted the --server option.
 247
 248     - There are more internal logging categories available in protocol 30 than
 249       the age-old FINFO and FERROR, including FERROR_XFER and FWARN.  These new
 250       categories allow some errors and warnings to go to stderr without causing
 251       an erroneous end-of-run warning about some files not being able to be
 252       transferred.
 253
 254     - Improved the use of "const" on pointers.
 255
 256     - Improved J.W.'s pool_alloc routines to add a way of freeing older
 257       sections of a pool's memory.
 258
 259     - The getaddrinfo.c compatibility code in the "lib" dir was replaced with
 260       some new code (derived from samba, derived from PostgreSQL) that has a
 261       better license than the old code.
 262
 263   DEVELOPER RELATED:
 264
 265     - Rsync is now licensed under the GPLv3 or later.
 266
 267     - Rsync is now being maintained in a "git" repository instead of CVS
 268       (though the old CVS repository still exists).  Several maintenance
 269       scripts were updated to work with git.
 270
 271     - Generated files are no longer committed into the source repository.  The
 272       autoconf and autoheader commands are now automatically run during the
 273       normal use of "configure" and "make".  The latest dev versions of all
 274       generated files can also be copied from the samba.org web site (see the
 275       "magic" configure script that now comes with rsync for its location).
 276
 277     - The "patches" directory of diff files is now built from branches in the
 278       rsync git repository (branch patch/FOO creates file patches/FOO.diff).
 279
 280     - The proto.h file is now built using a simple perl script rather than a
 281       complex awk script, which proved to be more widely compatible.
 282
 283     - When running the tests, we now put our per-test temp dirs into a sub-
 284       directory named testtmp (which is created, if missing).  This allows
 285       someone to symlink the testtmp directory to another filesystem (which is
 286       useful if the build dir's filesystem does not support ACLs and xattrs,
 287       but another file system does).
 288
 289     - Rsync now has a way of handling protocol-version changes during the
 290       development of a new protocol version.  This causes any out-of-sync
 291       versions to speak an older protocol rather than fail in a cryptic manner.
 292       This addition makes it safe to deploy a pre-release version that may
 293       interact with the public.  This new exchange of sub-version info does not
 294       interfere with the {MIN,MAX}_PROTOCOL_VERSION checking algorithm (which
 295       does not have enough range to allow the main protocol number to be
 296       incremented for every minor tweak in that happens during development).
 297
 298     - The csprotocol.txt file was updated to mention the daemon protocol change
 299       in the 3.0.0 release.