Preparing for release of 2.6.7
[rsync/rsync.git] / NEWS
1 NEWS for rsync 2.6.7 (11 Mar 2006)
2
3 Protocol: 29 (unchanged)
4 Changes since 2.6.6:
5
6   OUTPUT CHANGES:
7
8     - The letter 'D' in the itemized output was being used for both devices
9       (character or block) as well as other special files (such as fifos and
10       named sockets).  This has changed to separate non-device special files
11       under the 'S' designation (e.g. "cS+++++++ path/fifo").  See also the
12       "--specials" option, below.
13
14     - The way rsync escapes unreadable characters has changed.  First, rsync
15       now has support for recognizing valid multibyte character sequences in
16       your current locale, allowing it to escape fewer characters than before
17       for a locale such as UTF-8.  Second, it now uses an escape idiom of
18       "\#123", which is the literal string "\#" followed by exactly 3 octal
19       digits.  Rsync no longer doubles a backslash character in a filename
20       (e.g. it used to output "foo\\bar" when copying "foo\bar") -- now it only
21       escapes a backslash that is followed by a hash-sign and 3 digits (0-9)
22       (e.g. it will output "foo\#134#789" when copying "foo\#789").  See also
23       the --8-bit-output (-8) option, mentioned below.
24
25       Script writers: the local rsync is the one that outputs escaped names,
26       so if you need to support unescaping of filenames for older rsyncs, I'd
27       suggest that you parse the output of "rsync --version" and only use the
28       old unescaping rules for 2.6.5 and 2.6.6.
29
30   BUG FIXES:
31
32     - Fixed a really old bug that caused --checksum (-c) to checksum all the
33       files encountered during the delete scan (ouch).
34
35     - Fixed a potential hang in a remote generator:  when the receiver gets a
36       read-error on the socket, it now signals the generator about this so that
37       the generator does not try to send any of the terminating error messages
38       to the client (avoiding a potential hang in some setups).
39
40     - Made hard-links work with symlinks and devices again.
41
42     - If the sender gets an early EOF reading a source file, we propagate this
43       error to the receiver so that it can discard the file and try requesting
44       it again (which is the existing behavior for other kinds of read errors).
45
46     - If a device-file/special-file changes permissions, rsync now updates the
47       permissions without recreating the file.
48
49     - If the user specifies a remote-host for both the source and destination,
50       we now output a syntax error rather than trying to open the destination
51       hostspec as a filename.
52
53     - When --inplace creates a new destination file, rsync now creates it with
54       permissions 0600 instead of 0000 -- this makes restarting possible when
55       the transfer gets interrupted in the middle of sending a new file.
56
57     - Reject the combination of --inplace and --sparse since the sparse-output
58       algorithm doesn't work when overwriting existing data.
59
60     - Fixed the directory name in the error that is output when pop_dir()
61       fails.
62
63     - Really fixed the parsing of a "!" entry in .cvsignore files this time.
64
65     - If the generator gets a stat() error on a file, output it (this used to
66       require at least -vv for the error to be seen).
67
68     - If waitpid() fails or the child rsync didn't exit cleanly, we now handle
69       the exit status properly and generate a better error.
70
71     - Fixed some glitches in the double-verbose output when using --copy-dest,
72       --link-dest, or --compare-dest.  Also improved how the verbose output
73       handles hard-links (within the transfer) that had an up-to-date alternate
74       "dest" file, and copied files (via --copy-dest).
75
76     - Fixed the matching of the dont-compress items (e.g. *.gz) against files
77       that have a path component containing a slash.
78
79     - If code reading a filter/exclude file an EINTR error, rsync now clears
80       the error flag on the file handle so it can keep on reading.
81
82     - If --relative is active, the sending side cleans up trailing "/" or "/."
83       suffixes to avoid triggering a bug in older rsync versions.  Also, we now
84       reject a ".." dir if it would be sent as a relative dir.
85
86     - If a non-directory is in the way of a directory and rsync is run with
87       --dry-run and --delete, rsync no longer complains about not being able
88       to opendir() the not-yet present directory.
89
90     - When --list-only is used and a non-existent local destination dir was
91       also specified as a destination, rsync no longer generates a warning
92       about being unable to create the missing directory.
93
94     - Fixed some problems with --relative --no-implied-dirs when the
95       destination directory did not yet exist:  we can now create a symlink or
96       device when it is the first thing in the missing dir, and --fuzzy no
97       longer complains about being unable to open the missing dir.
98
99     - Fixed a bug where the --copy-links option would not affect implied
100       directories without --copy-unsafe-links (see --relative).
101
102     - Got rid of the need for --force to be used in some circumstances with
103       --delete-after (making it consistent with --delete-before/-during).
104
105     - Rsync now ignores the SIGXFSZ signal, just in case your OS sends this
106       when a file is too large (rsync handles the write error).
107
108     - Fixed a bug in the Proxy-Authorization header's base64-encoded value: it
109       was not properly padded with trailing '=' chars.  This only affects a
110       user that need to use a password-authenticated proxy for an outgoing
111       daemon-rsync connection.
112
113     - If we're transferring an empty directory to a new name, rsync no longer
114       forces S_IWUSR if it wasn't already set, nor does it accidentally leave
115       it set.
116
117     - Fixed a bug in the debug output (-vvvvv) that could mention the wrong
118       checksum for the current file offset.
119
120     - Rsync no longer allows a single directory to be copied over a non-
121       directory destination arg.
122
123   ENHANCEMENTS:
124
125     - Added the --append option that makes rsync append data onto files that
126       are longer on the source than the destination (this includes new files).
127
128     - Added the --min-size=SIZE option to exclude small files from the
129       transfer.
130
131     - Added the --compress-level option to allow you to set how aggressive
132       rsync's compression should be (this option implies --compress).
133
134     - Enhanced the parsing of the SIZE value for --min-size and --max-size to
135       allow easy entry of multiples of 1000 (instead of just multiples of 1024)
136       and off-by-one values too (e.g. --max-size=8mb-1).
137
138     - Added the --8-bit-output (-8) option, which tells rsync to avoid escaping
139       high-bit characters that it thinks are unreadable in the current locale.
140
141     - The new option --human-readable (-h) changes the output of --progress,
142       --stats, and the end-of-run summary to be easier to read.  If repeated,
143       the units become powers of 1024 instead of powers of 1000.  (The old
144       meaning of -h, as a shorthand for --help, still works as long as you
145       just use it on its own, as in "rsync -h".)
146
147     - If lutimes() and/or lchmod() are around, use them to allow the
148       preservation of attributes on symlinks.
149
150     - The --link-dest option now affects symlinks and devices (when possible).
151
152     - Added two config items to the rsyncd.conf parsing:  "pre-xfer exec" and
153       "post-xfer exec".  These allow a command to be specified on a per-module
154       basis that will be run before and/or after a daemon-mode transfer.  (See
155       the man page for a list of the environment variables that are set with
156       information about the transfer.)
157
158     - When using the --relative option, you can now insert a dot dir in
159       the source path to indicate where the replication of the source dirs
160       should start.  For example, if you specify a source path of
161       rsync://host/module/foo/bar/./baz/dir with -R, rsync will now only
162       replicate the "baz/dir" part of the source path (note: a trailing
163       dot dir is unaffected unless it also has a trailing slash).
164
165     - Added some new --no-FOO options that make it easier to override unwanted
166       implied or default options.  For example, "-a --no-o" (aka "--archive
167       --no-owner") can be used to turn off the preservation of file ownership
168       that is implied by -a.
169
170     - Added the --chmod=MODE option that allows the destination permissions to
171       be changed from the source permissions.  E.g. --chmod=g+w,o-rwx
172
173     - Added the "incoming chmod" and "outgoing chmod" daemon options that allow
174       a module to specify what permissions changes should be applied to all
175       files copied to and from the daemon.
176
177     - Allow the --temp-dir option to be specified when starting a daemon, which
178       sets the default temporary directory for incoming files.
179
180     - If --delete is combined with --dirs without --recursive, rsync will now
181       delete in any directory whose content is being synchronized.
182
183     - If --backup is combined with --delete without --backup-dir (and without
184       --delete-excluded), we add a "protect" filter-rule to ensure that files
185       with the backup suffix are not deleted.
186
187     - The file-count stats that are output by --progress were improved to
188       better indicate what the numbers mean.  For instance, the output:
189       "(xfer#5, to-check=8383/9999)" indicates that this was the fifth file
190       to be transferred, and we still need to check 8383 more files out of
191       a total of 9999.
192
193     - The include/exclude code now allows a dir/*** directive (with 3 trailing
194       stars) to match both the dir itself as well as all the content below the
195       dir (dir/** would not match the dir).
196
197     - Added the --prune-empty-dirs (-m) option that makes the receiving rsync
198       discard empty chains of directories from the file-list.  This makes it
199       easier to selectively copy files from a source hierarchy and end up with
200       just the directories needed to hold the resulting files.
201
202     - If the --itemize-changes (-i) option is repeated, rsync now includes
203       unchanged files in the itemized output (similar to -vv, but without all
204       the other verbose messages that can get in the way).  Of course, the
205       client must be version 2.6.7 for this to work, but the remote rsync only
206       needs to be 2.6.7 if you're pushing files.
207
208     - Added the --specials option to tell rsync to copy non-device special
209       files (which rsync now attempts even as a normal user).  The --devices
210       option now requests the copying of just devices (character and block).
211       The -D option still requests both (e.g. --devices and --specials), -a
212       still implies -D, and non-root users still get a silent downgrade that
213       omits device copying.
214
215     - Added the --super option to make the receiver always attempt super-user
216       activities.  This is useful for systems that allow things such as devices
217       to be created or ownership to be set without being UID 0, and is also
218       useful for someone who wants to ensure that errors will be output if the
219       receiving rsync isn't being run as root.
220
221     - Added the --sockopts option for those few who want to customize the TCP
222       options used to contact a daemon rsync.
223
224     - Added a way for the --temp-dir option to be combined with a partial-dir
225       setting that lets rsync avoid non-atomic updates (for those times when
226       --temp-dir is not being used because space is tight).
227
228     - A new support script, files-to-excludes, will transform a list of files
229       into a set of include/exclude directives that will copy those files.
230
231     - A new option, --executability (-E) can be used to preserve just the
232       execute bit on files, for those times when using the --perms option is
233       not desired.
234
235     - The daemon now logs each connection and also each module-list request
236       that it receives.
237
238     - New log-format options: %M (modtime), %U (uid), %G (gid), and %B
239       (permission bits, e.g. "rwxr-xrwt").
240
241     - The --dry-run option no longer forces the enabling of --verbose.
242
243     - The --remove-sent-files option now does a better job of incrementally
244       removing the sent files on the sending side (older versions tended to
245       clump up all the removals at the end).
246
247     - A daemon now supersedes its minimal SIGCHLD handler with the standard
248       PID-remembering version after forking.  This ensures that the generator
249       can get the child-exit status from the receiver.
250
251     - Use of the --bwlimit option no longer interferes with the remote rsync
252       sending error messages about invalid/refused options.
253
254     - Rsync no longer returns a usage error when used with one local source arg
255       and no destination: this now implies the --list-only option, just like
256       the comparable situation with a remote source arg.
257
258     - Added the --copy-dirlinks option, a more limited version of --copy-links.
259
260     - Various documentation improvements, including: a better synopsis, some
261       improved examples, a better discussion of the presence and absence of
262       --perms (including how it interacts with the new --executability and
263       --chmod options), an extended discussion of --temp-dir, an improved
264       discussion of --partial-dir, a better description of rsync's pattern
265       matching characters, an improved --no-implied-dirs section, and the
266       documenting of what the --stats option outputs.
267
268     - Various new and updated diffs in the patches dir, including: acls.diff,
269       xattrs.diff, atimes.diff, detect-renamed.diff, and slp.diff.
270
271   INTERNAL:
272
273     - We now use sigaction() and sigprocmask() if possible, and fall back on
274       signal() if not.  Using sigprocmask() ensures that rsync enables all the
275       signals that it needs, just in case it was started in a masked state.
276
277     - Some buffer sizes were expanded a bit, particularly on systems where
278       MAXPATHLEN is overly small (e.g. cygwin).
279
280     - If io_printf() tries to format more data than fits in the buffer, exit
281       with an error instead of transmitting a truncated buffer.
282
283     - If a va_copy macro is defined, lib/snprintf.c will use it when defining
284       the VA_COPY macro.
285
286     - Reduced the amount of stack memory needed for each level of directory
287       recursion by nearly MAXPATHLEN bytes.
288
289     - The wildmatch function was extended to allow an array of strings to be
290       supplied as the string to match.  This allows the exclude code to do less
291       string copying.
292
293     - Got rid of the safe_fname() function (and all the myriad calls) and
294       replaced it with a new function in the log.c code that filters all the
295       output going to the terminal.
296
297     - Unified the f_name() and the f_name_to() functions.
298
299     - Improved the hash-table code the sender uses to handle checksums to make
300       it use slightly less memory and run just a little faster.
301
302   DEVELOPER RELATED:
303
304     - The diffs in the patches dir now require "patch -p1 <DIFF" instead of
305       the previous -p0.  Also, the version included in the release tar now
306       affect generated files (e.g. configure, rsync.1, proto.h, etc.), so
307       it is no longer necessary to run autoconf and/or yodl unless you're
308       applying a patch that was checked out from CVS.
309
310     - Several diffs in the patches dir now use the proper --enable-FOO
311       configure option instead of --with-FOO to turn on the inclusion of
312       the newly patched feature.
313
314     - There is a new script, "prepare-source" than can be used to update the
315       various generated files (proto.h, configure, etc.) even before configure
316       has created the Makefile (this is mainly useful when patching the source
317       with a patch that doesn't affect generated files).
318
319     - The testsuite now sets HOME so that it won't be affected by a file such
320       as ~/.popt.