Preparing for release of 3.0.0pre1
[rsync/rsync.git] / NEWS
diff --git a/NEWS b/NEWS
index 6ac8cf1..f45d762 100644 (file)
--- a/NEWS
+++ b/NEWS
-NEWS for rsync 2.6.5 (1 Jun 2005)
-Protocol: 29 (unchanged)
-Changes since 2.6.4:
-
-  OUTPUT CHANGES:
-
-    - Non-printable chars in filenames are now output using backslash-
-      escaped characters rather than '?'s.  Any non-printable character is
-      output using 3 digits of octal (e.g. "\n" -> "\012"), and a backslash
-      is now output as "\\".  Rsync also uses your locale setting, which
-      can make it treat fewer high-bit characters as non-printable.
-
-    - If rsync received an empty file-list when pulling files, it would
-      output a "nothing to do" message and exit with a 0 (success) exit
-      status, even if the remote rsync returned an error (it did not do
-      this under the same conditions when pushing files).  This was changed
-      to make the pulling behavior the same as the pushing behavior:  we
-      now do the normal end-of-run outputting (depending on options) and
-      exit with the appropriate exit status.
+NEWS for rsync 3.0.0 (UNRELEASED)
+Protocol: 30 (changed)
+Changes since 2.6.9:
 
-  BUG FIXES:
-
-    - A crash bug was fixed when a daemon had its "path" set to "/", did
-      not have chroot enabled, and used some anchored excludes in the
-      rsyncd.conf file.
-
-    - Fixed a bug in the transfer of a single file when -H is specified
-      (rsync would either infinite loop or perhaps crash).
-
-    - Fixed a case where the generator might try (and fail) to tweak the
-      write-permissions of a read-only directory in list-only mode (this
-      only caused an annoying warning message).
-
-    - If --compare-dest or --link-dest uses a locally-copied file as the
-      basis for an updated version, log this better when --verbose or -i
-      is in effect.
-
-    - Fixed the accidental disabling of --backup during the --delete-after
-      processing.
-
-    - Restored the ability to use the --address option in client mode (in
-      addition to its use in daemon mode).
+  NOTABLE CHANGE IN BEHAVIOR:
 
-    - Make sure that some temporary progress information from the delete
-      processing does not get left on the screen when it is followed by a
-      newline.
+   - The handling of implied directories when using --relative has changed
+     to send them as directories (e.g. no implied dir is ever sent as a
+     symlink).  This avoids unexpected behavior and should not adversely
+     affect most people.  If you're one of those rare people who relied
+     upon having an implied dir be duplicated as a symlink, either specify
+     --keep-dirlinks or --no-implied-dirs.
 
-    - When --existing skips a directory with extra verbosity, refer to it
-      as a "directory", not a "file".
+  BUG FIXES:
 
-    - When transferring a single file to a different-named file, any
-      generator messages that are source-file related no longer refer to
-      the file by the destination filename.
+    - Fixed the output of -ii when combined with one of the --*-dest options:
+      it now itemizes all the items, not just the changed ones.
 
-    - Fixed a bug where hard-linking a group of files might fail if the
-      generator hasn't created a needed destination directory yet.
+    - Made the output of all file types consistent when using a --*-dest
+      option.  Prior versions used to output too many creation events for
+      matching items.
 
-    - Fixed a bug where a hard-linked group of files that is newly-linked
-      to a file in a --link-dest dir doesn't link the files from the rest
-      of the cluster.
+    - The code that waits for a child pid now handles being interrupted by a
+      signal.  This fixes a problem with the pre-xfer exec function not being
+      able to get the exit status from the script.
 
-    - When deleting files with the --one-file-system (-x) option set, rsync
-      no longer tries to remove files from inside a mount-point on the
-      receiving side.  Also, we don't complain about being unable to remove
-      the mount-point dir.
+    - A negated filter rule (with a '!' modifier) no longer loses the negation
+      when sending the filter rules to the remote rsync.
 
-    - Fixed a compatibility problem when using --cvs-ignore (-C) and
-      sending files to an older rsync without using --delete.
+    - Fixed a problem with the --out-format (aka --log-format) option %f:  it
+      would output superfluous directory information for a non-daemon rsync.
 
-    - Make sure that a "- !" or "+ !" include/exclude pattern does not
-      trigger the list-clearing action that is reserved for "!".
+    - Fixed a problem with -vv (double --verbose) and --stats when "pushing"
+      files (which includes local copies).  Version 2.6.9 would complete the
+      copy, but exit with an error when the receiver output its memory stats.
 
-    - Avoid a timeout in the generator when the sender/receiver aren't
-      handling the generator's checksum output quickly enough.
+    - If --password-file is used on a non-daemon transfer, rsync now complains
+      and exits.  This should help users figure out that they can't use this
+      option to control a remote shell's password prompt.
 
-    - Fixed the omission of some directories in the delete processing when
-      --relative (-R) was combined with a source path that had a trailing
-      slash.
+    - Make sure that directory permissions of a newly-created destination
+      directory are handled right when --perms is left off.
 
-    - Fixed a case where rsync would erroneously delete some files and then
-      re-transfer them when the options --relative (-R) and --recursive
-      (-r) were both enabled (along with --delete) and a source path had a
-      trailing slash.
+    - The itemized output of a newly-created destination directory is now
+      output as a creation event, not a change event.
 
-    - Make sure that --max-size doesn't affect a device or a symlink.
+    - Improved --hard-link so that more corner cases are handled correctly
+      when combined with options such as --link-dest and/or --ignore-existing.
 
-    - Make sure that a system with a really small MAXPATHLEN does not cause
-      the buffers in readfd_unbuffered() to be too small to receive normal
-      messages.  (This mainly affected Cygwin.)
+    - The --append option no longer updates a file that has the same size.
 
-    - If a source pathname ends with a filename of "..", treat it as if
-      "../" had been specified (so that we don't copy files to the parent
-      dir of the destination).
+    - Fixed a bug when combining --backup and --backup-dir with --inplace:
+      any missing backup directories are now created.
 
-    - If --delete is combined with a file-listing rsync command (i.e. no
-      transfer is happening), avoid outputting a warning that we couldn't
-      delete anything.
+    - Fixed a bug when using --backup and --inplace with --whole-file or
+      --read-batch: backup files are actually created now.
 
-    - If --stats is specified with --delete-after, ensure that all the
-      "deleting" messages are output before the statistics.
+    - Starting up an extra copy of an rsync daemon does not delete the pidfile
+      for the running daemon -- if the pidfile exists, the extra program will
+      exit with an error.
 
-    - Improved one "if" in the deletion code that was only checking errno
-      for ENOTEMPTY when it should have also been checking for EEXIST (for
-      compatibility with OS variations).
+    - The daemon pidfile is checked and created sooner in the startup sequence.
 
   ENHANCEMENTS:
 
-    - Added the --only-write-batch=FILE option that may be used (instead
-      of --write-batch=FILE) to create a batch file without doing any
-      actual updating of the destination.  This allows you to divert all
-      the file-updating data away from a slow data link (as long as you
-      are pushing the data to the remote server when creating the batch).
-
-    - When the generator is taking a long time to fill up its output buffer
-      (e.g. if the transferred files are few, small, or missing), it now
-      periodically flushes the output buffer so that the sender/receiver
-      can get started on the files sooner rather than later.
-
-    - Improved the keep-alive code to handle a long silence between the
-      sender and the receiver that can occur when the sender is receiving
-      the checksum data for a large file.
+    - A new incremental-recursion algorithm is now used when rsync is talking
+      to another 3.x version.  This starts the transfer going more quickly
+      (before all the files have been found), and requires much less memory.
+      See the --recursive option in the manpage for some restrictions.
+
+    - Saved memory in the non-incremental-recursion algorithm for typical
+      option values (usually saving from 21-29 bytes per file).
+
+    - The default --delete algorithm is now --delete-during when talking to a
+      3.x rsync.  This is a faster scan than using --delete-before (which is
+      the default when talking to older rsync versions), and is compatible with
+      the new incremental recursion mode.
+
+    - Rsync now allows multiple remote-source args to be specified rather than
+      having to rely on a special space-splitting side-effect of the remote-
+      shell.  Additional remote args must specify the same host or have an
+      empty hostname, as seen here:  :file1  ::module/file2.  This means that
+      local use of brace expansion now works:  rsync -av host:path/{f1,f2} .
+
+    - Added the --delete-delay option, which is a more efficient way to delete
+      files at the end of the transfer without needing a separate delete pass.
+
+    - Added the --acls (-A) option to preserve Access Control Lists.  This is
+      an improved version of the prior patch that was available, and it even
+      supports OS X ACLs.  (If you need to have backward compatibility with
+      old, patched versions of rsync, apply the acls.diff file from the patches
+      dir.)
+
+    - Added the --xattrs (-X) option to preserver extended attributes.  This is
+      an improved version of the prior patch that was available.  (If you need
+      to have backward compatibility with old, patched versions of rsync, apply
+      the xattrs.diff file from the patches dir.)
+
+    - Added the --fake-super option that allows a non-super user to preserve
+      all attributes of a file by using a special extended-attribute idiom.
+      There is also an analogous "fake super" option for an rsync daemon.
+
+    - Added the --iconv option, which allows rsync to convert filenames from
+      one character-set to another during the transfer.  The default is to make
+      this feature available as long as your system has iconv_open().  If
+      compilation fails, specify --disable-iconv to configure, and then
+      rebuild.  If you want rsync to perform character-set conversions by
+      default, you can specify --enable-iconv=CONVERT_STRING with the default
+      value for the --iconv option that you wish to use.  For example,
+      --enable-iconv=. is a good choice.  See the rsync manpage for an
+      explanation of the --iconv option's settings.
+
+    - Added the --skip-compress=LIST option to override of the default list of
+      file suffixes that will not be compressed when using --compress.
+      
+    - The daemon's default for "dont compress" was extended to include:
+         *.7z *.mp[34] *.mov *.avi *.ogg *.jpg *.jpeg
+      The matching routine was also optimized to run more quickly.
+
+    - The --max-delete option now outputs a warning if it skipped any file
+      deletions, including a count of how many deletions were skipped.  (Older
+      versions just silently stopped deleting things.)
+
+    - You may specify --max-delete=0 to a 3.0.0 client to request that it warn
+      about extraneous files without deleting anything.  If you're not sure
+      what version the client is, you can use the less-obvious --max-delete=-1,
+      as both old and new versions will treat that as the same request (though
+      older versions don't warn).
+
+    - The --hard-link option now uses less memory on both the sending and
+      receiving side for all protocol versions.  For protocol 30, the use of a
+      hashtable on the sending side allows us to more efficiently convey to the
+      receiver what files are linked together.  This reduces the amount of data
+      sent over the socket by a considerable margin (rather than adding more
+      data), and limits the in-memory storage of the device+inode information
+      to just the sending side for the new protocol 30, or to the receiving
+      side when speaking an older protocol (note that older rsync versions kept
+      the device+inode information on both sides).
+
+    - The filter rules now support a perishable ("p") modifier that marks rules
+      that should not have an effect in a directory that is being deleted.  e.g.
+      -f '-p .svn/' would only affect "live" .svn directories.
+
+    - If we get an error setting the time on a symlink, we don't complain about
+      it anymore (since some operating systems don't support that, and it's not
+      that important).
+
+    - Protocol 30 now uses MD5 checksums instead of MD4.
+
+    - If a daemon module's "path" value is not an absolute pathname, the code
+      now makes it absolute internally (making it work properly).
+
+    - Changed the --append option to not checksum the existing data in the
+      destination file, which speeds up file appending.
+
+    - Added the --append-verify option, which works like the older --append
+      option (verifying the existing data in the destination file).  For
+      compatibility with older rsync versions, any use of --append that is
+      talking protocol 29 or older will revert to the --append-verify method.
+
+    - Documented and extended the support for the RSYNC_CONNECT_PROG variable
+      that can be used to enhance the client side of a daemon connection.
+
+    - Added the --protect-args (-s) option, that tells rsync to send most of
+      the command-line args at the start of the transfer rather than as args
+      to the remote-shell command.  This protects them from space-splitting,
+      and only interprets basic wildcard special shell characters (*?[).
+
+    - Improved the dashes and double-quotes in the nroff manpage output.
+
+    - We now support a lot more --no-OPTION override options.
 
-    - Improved the auth-errors that are logged by the daemon to include
-      some information on why the authorization failed:  wrong user,
-      password mismatch, etc.  (The client-visible message is unchanged!)
-
-    - Improved the client's handling of an "@ERROR" from a daemon so that
-      it does not complain about an unexpectedly closed socket (since we
-      really did expect the socket to close).
+  INTERNAL:
 
-    - If the daemon can't open the log-file specified in rsyncd.conf, fall
-      back to using syslog and log an appropriate warning.  This is better
-      than what was typically a totally silent (and fatal) failure (since a
-      daemon is not usually run with the --no-detach option that was
-      necessary to see the error on stderr).
+    - The file-list sorting algorithm now uses a sort that keeps any same-
+      named items in the same order as they were specified.  This allows
+      rsync to always ensure that the first of the duplicates is the one
+      that will be included in the copy.  The new sort was also faster
+      than the glibc version of qsort() and mergesort() in my testing.
 
-    - The man pages now consistently refer to an rsync daemon as a "daemon"
-      instead of a "server" (to distinguish it from the server process in a
-      non-daemon transfer).
+    - Rsync now supports the transfer of 64-bit timestamps (time_t values).
 
-    - Made a small change to the rrsync script (restricted rsync -- in the
-      support dir) to make a read-only server reject all --remove-* options
-      when sending files (to future-proof it against the possibility of
-      other similar options being added at some point).
+    - Fixed a build problem with older (2.x) versions of gcc.
 
-  INTERNAL:
+    - Added some isType() functions that make dealing with signed characters
+      easier without forcing variables via casts.
 
-    - Rsync now calls setlocale(LC_CTYPE, "").  This enables isprint() to
-      better discern which filename characters need to be escaped in
-      messages (which should result in fewer escaped characters in some
-      locales).
+    - Changed strcat/strcpy/sprintf function calls to use safer versions.
 
-    - Improved the naming of the log-file open/reopen/close functions.
+    - Upgraded the included popt version to 1.10.2 and improved its use of
+      string-handling functions.
 
-    - Removed some protocol-compatibility code that was only needed to help
-      someone running a pre-release of 2.6.4.
+    - Added missing prototypes for compatibility functions from the lib dir.
 
-  BUILD CHANGES:
+    - Configure determines if iconv() has a const arg, allowing us to avoid a
+      compiler warning.
 
-    - Added configure option "--disable-locale" to disable any use of
-      setlocale() in the binary.
+    - Made the sending of some numbers more efficient for protocol 30.
 
-    - Fixed a bug in the SUPPORT{,_HARD}_LINKS #defines which prevented
-      rsync from being built without symlink or hard-link support.
+    - Make sure that a daemon process doesn't mind if the client was weird and
+      omitted the --server option.
 
-    - Only #define HAVE_REMSH if it is going to be set to 1.
+    - Improved the use of "const" on pointers.
 
-    - Configure now disables the use of mkstemp() under HP-UX (since they
-      refuse to fix its broken handling of large files).
+    - Improved J.W.'s pool_alloc routines to add a way of freeing older
+      sections of a pool's memory.
 
-    - Configure now explicitly checks for the lseek64() function so that
-      the code can use HAVE_LSEEK64 instead of inferring lseek64()'s
-      presence based on the presence of the off64_t type.
+  DEVELOPER RELATED:
 
-    - Configure no longer mentions the change in the default remote-shell
-      (from rsh to ssh) that occurred for the 2.6.0 release.
+    - Rsync is now licensed under the GPLv3 or later.
 
-    - Some minor enhancements to the test scripts.
+    - When running the tests, we now put our per-test temp dirs into a sub-
+      directory named testtmp (which is created, if missing).  This allows
+      someone to symlink the testtmp directory to another filesystem (which is
+      useful if the build dir's filesystem does not support ACLs and xattrs,
+      and another file system does).
 
-    - Added a few new *.diff files to the patches dir, including a patch
-      that enables the optional copying of extended attributes.
+    - Rsync now has a way of handling protocol-version changes during the
+      development of a new protocol version.  This exchange of sub-version
+      info does not interfere with the {MIN,MAX}_PROTOCOL_VERSION checking
+      in older versions (since we'd quickly exceed the MAX_PROTOCOL_VERSION
+      if we incremented the main PROTOCOL_VERSION value for every minor
+      change during development).