List more of the doc improvements, list some of the best diffs in
[rsync/rsync.git] / NEWS
1 NEWS for rsync 2.6.7 (UNRELEASED)
2 Protocol: 29 (unchanged)
3 Changes since 2.6.6:
4
5   OUTPUT CHANGES:
6
7     - The letter 'D' in the itemized output was being used for both devices
8       (character or block) as well as other special files (such as fifos and
9       named sockets).  This has changed to separate non-device special files
10       under the 'S' designation (e.g. "cS+++++++ path/fifo").  See also the
11       "--specials" option, below.
12
13     - The way rsync escapes unreadable characters has changed.  First, rsync
14       now has support for recognizing valid multibyte character sequences in
15       your current locale, allowing it to escape fewer characters than before
16       for a locale such as UTF-8.  Second, it now uses an escape idiom of
17       "\#123", which is the literal string "\#" followed by exactly 3 octal
18       digits.  Rsync no longer doubles a backslash character in a filename
19       (e.g. it used to output "foo\\bar" when copying "foo\bar") -- now it only
20       escapes a backslash that is followed by a hash-sign and 3 digits (0-9)
21       (e.g. it will output "foo\#134#789" when copying "foo\#789").  See also
22       the --8-bit-output (-8) option, mentioned below.
23
24       Script writers: the local rsync is the one that outputs escaped names,
25       so if you need to support unescaping of filenames for older rsyncs, I'd
26       suggest that you parse the output of "rsync --version" and only use the
27       old unescaping rules for 2.6.5 and 2.6.6.
28
29   BUG FIXES:
30
31     - Fixed a really old bug that caused --checksum (-c) to checksum all the
32       files encountered during the delete scan (ouch).
33
34     - Fixed a potential hang in a remote generator:  when the receiver gets a
35       read-error on the socket, it now signals the generator about this so that
36       the generator does not try to send any of the terminating error messages
37       to the client (avoiding a potential hang in some setups).
38
39     - Made hard-links work with symlinks and devices again.
40
41     - If the sender gets an early EOF reading a source file, we propagate this
42       error to the receiver so that it can discard the file and try requesting
43       it again (which is the existing behavior for other kinds of read errors).
44
45     - If a device-file/special-file changes permissions, rsync now updates the
46       permissions without recreating the file.
47
48     - If the user specifies a remote-host for both the source and destination,
49       we now output a syntax error rather than trying to open the destination
50       hostspec as a filename.
51
52     - When --inplace creates a new destination file, rsync now creates it with
53       permissions 0600 instead of 0000 -- this makes restarting possible when
54       the transfer gets interrupted in the middle of sending a new file.
55
56     - Reject the combination of --inplace and --sparse since the sparse-output
57       algorithm doesn't work when overwriting existing data.
58
59     - Fixed the directory name in the error that is output when pop_dir()
60       fails.
61
62     - Really fixed the parsing of a "!" entry in .cvsignore files this time.
63
64     - If the generator gets a stat() error on a file, output it (this used to
65       require at least -vv for the error to be seen).
66
67     - If waitpid() fails or the child rsync didn't exit cleanly, we now handle
68       the exit status properly and generate a better error.
69
70     - Fixed some glitches in the double-verbose output when using --copy-dest,
71       --link-dest, or --compare-dest.  Also improved how the verbose output
72       handles hard-links (within the transfer) that had an up-to-date alternate
73       "dest" file, and copied files (via --copy-dest).
74
75     - Fixed the matching of the dont-compress items (e.g. *.gz) against files
76       that have a path component containing a slash.
77
78     - If code reading a filter/exclude file an EINTR error, rsync now clears
79       the error flag on the file handle so it can keep on reading.
80
81     - If --relative is active, the sending side cleans up trailing "/" or "/."
82       suffixes to avoid triggering a bug in older rsync versions.  Also, we now
83       reject a ".." dir if it would be sent as a relative dir.
84
85     - If a non-directory is in the way of a directory and rsync is run with
86       --dry-run and --delete, rsync no longer complains about not being able
87       to opendir() the not-yet present directory.
88
89     - Got rid of the need for --force to be used in some circumstances with
90       --delete-after (making it consistent with --delete-before/-during).
91
92     - Rsync now ignores the SIGXFSZ signal, just in case your OS sends this
93       when a file is too large (rsync handles the write error).
94
95   ENHANCEMENTS:
96
97     - Added the --append option that makes rsync append data onto files that
98       are longer on the source than the destination (this includes new files).
99
100     - Added the --min-size=SIZE option to exclude small files from the
101       transfer.
102
103     - Added the --compress-level option to allow you to set how aggressive
104       rsync's compression should be (this option implies --compress).
105
106     - Enhanced the parsing of the SIZE value for --min-size and --max-size to
107       allow easy entry of multiples of 1000 (instead of just multiples of 1024)
108       and off-by-one values too (e.g. --max-size=8mb-1).
109
110     - Added the --8-bit-output (-8) option, which tells rsync to avoid escaping
111       high-bit characters that it thinks are unreadable in the current locale.
112
113     - The new option --human-readable (-h) changes the output of --progress,
114       --stats, and the end-of-run summary to be easier to read.  If repeated,
115       the units become powers of 1024 instead of powers of 1000.  (The old
116       meaning of -h, as a shorthand for --help, still works as long as you
117       just use it on its own, as in "rsync -h".)
118
119     - If lutimes() and/or lchmod() are around, use them to allow the
120       preservation of attributes on symlinks.
121
122     - The --link-dest option now affects symlinks and devices (when possible).
123
124     - Added two config items to the rsyncd.conf parsing:  "pre-xfer exec" and
125       "post-xfer exec".  These allow a command to be specified on a per-module
126       basis that will be run before and/or after a daemon-mode transfer.  (See
127       the man page for a list of the environment variables that are set with
128       information about the transfer.)
129
130     - When using the --relative option, you can now insert a dot dir in
131       the source path to indicate where the replication of the source dirs
132       should start.  For example, if you specify a source path of
133       rsync://host/module/foo/bar/./baz/dir with -R, rsync will now only
134       replicate the "baz/dir" part of the source path (note: a trailing
135       dot dir is unaffected unless it also has a trailing slash).
136
137     - Added some new --no-FOO options that make it easier to override unwanted
138       implied or default options.  For example, "-a --no-o" (aka "--archive
139       --no-owner") can be used to turn off the preservation of file ownership
140       that is implied by -a.
141
142     - Added the --chmod=MODE option that allows the destination permissions to
143       be changed from the source permissions.  E.g. --chmod=g+w,o-rwx
144
145     - Added the "incoming chmod" and "outgoing chmod" daemon options that allow
146       a module to specify what permissions changes should be applied to all
147       files copied to and from the daemon.
148
149     - Allow the --temp-dir option to be specified when starting a daemon, which
150       sets the default temporary directory for incoming files.
151
152     - If --delete is combined with --dirs without --recursive, rsync will now
153       delete in any directory whose content is being synchronized.
154
155     - If --backup is combined with --delete without --backup-dir (and without
156       --delete-excluded), we add a "protect" filter-rule to ensure that files
157       with the backup suffix are not deleted.
158
159     - The file-count stats that are output by --progress were improved to
160       better indicate what the numbers mean.  For instance, the output:
161       "(xfer#5, to-check=8383/9999)" indicates that this was the fifth file
162       to be transferred, and we still need to check 8383 more files out of
163       a total of 9999.
164
165     - The include/exclude code now allows a dir/*** directive (with 3 trailing
166       stars) to match both the dir itself as well as all the content below the
167       dir (dir/** would not match the dir).
168
169     - Added the --prune-empty-dirs (-m) option that makes the receiving rsync
170       discard empty chains of directories from the file-list.  This makes it
171       easier to selectively copy files from a source hierarchy and end up with
172       just the directories needed to hold the resulting files.
173
174     - If the --itemize-changes (-i) option is repeated, rsync now includes
175       unchanged files in the itemized output (similar to -vv, but without all
176       the other verbose messages that can get in the way).  Of course, the
177       client must be version 2.6.7 for this to work, but the remote rsync only
178       needs to be 2.6.7 if you're pushing files.
179
180     - Added the --specials option to tell rsync to copy non-device special
181       files (which rsync now attempts even as a normal user).  The --devices
182       option now requests the copying of just devices (character and block).
183       The -D option still requests both (e.g. --devices and --specials), -a
184       still implies -D, and non-root users still get a silent downgrade that
185       omits device copying.
186
187     - Added the --super option to make the receiver always attempt super-user
188       activities.  This is useful for systems that allow things such as devices
189       to be created or ownership to be set without being UID 0, and is also
190       useful for someone who wants to ensure that errors will be output if the
191       receiving rsync isn't being run as root.
192
193     - Added the --sockopts option for those few who want to customize the TCP
194       options used to contact a daemon rsync.
195
196     - Added a way for the --temp-dir option to be combined with a partial-dir
197       setting that lets rsync avoid non-atomic updates (for those times when
198       --temp-dir is not being used because space is tight).
199
200     - A new support script, files-to-excludes, will transform a list of files
201       into a set of include/exclude directives that will copy those files.
202
203     - A new option, --executability (-E) can be used to preserve just the
204       execute bit on files, for those times when using the --perms option is
205       not desired.
206
207     - The daemon now logs each module-list request it receives.
208
209     - New log-format options: %M (modtime), %U (uid), %G (gid), and %B
210       (permission bits, e.g. "rwxr-xrwt").
211
212     - The --dry-run option no longer forces the enabling of --verbose.
213
214     - Various documentation improvements, including: a better synopsis, some
215       improved examples, a better discussion of the presence and absence of
216       --perms (including how it interacts with the new --executability and
217       --chmod options), an extended discussion of --temp-dir, an improved
218       discussion of --partial-dir, a better description of rsync's pattern
219       matching characters, and the documenting of what the various items in
220       the --stats output mean.
221
222     - Various new and updated diffs in the patches dir, including: acls.diff,
223       xattrs.diff, atimes.diff, detect-renamed.diff, and slp.diff.
224
225   INTERNAL:
226
227     - We now use sigaction() and sigprocmask() if possible, and fall back on
228       signal() if not.  Using sigprocmask() ensures that rsync enables all the
229       signals that it needs, just in case it was started in a masked state.
230
231     - Some buffer sizes were expanded a bit, particularly on systems where
232       MAXPATHLEN is overly small (e.g. cygwin).
233
234     - If io_printf() tries to format more data than fits in the buffer, exit
235       with an error instead of transmitting a truncated buffer.
236
237     - If a va_copy macro is defined, lib/snprintf.c will use it when defining
238       the VA_COPY macro.
239
240     - Reduced the amount of stack memory needed for each level of directory
241       recursion by nearly MAXPATHLEN bytes.
242
243     - The wildmatch function was extended to allow an array of strings to be
244       supplied as the string to match.  This allows the exclude code to do less
245       string copying.
246
247     - Got rid of the safe_fname() function (and all the myriad calls) and
248       replaced it with a new function in the log.c code that filters all the
249       output going to the terminal.
250
251     - Unified the f_name() and the f_name_to() functions.
252
253   DEVELOPER RELATED:
254
255     - The diffs in the patches dir now require "patch -p1 <DIFF" instead of
256       the previous -p0.  Also, the version included in the release tar now
257       affect generated files (e.g. configure, rsync.1, proto.h, etc.), so
258       it is no longer necessary to run autoconf and/or yodl unless you're
259       applying a patch that was checked out from CVS.
260
261     - Several diffs in the patches dir now use the proper --enable-FOO
262       configure option instead of --with-FOO to turn on the inclusion of
263       the newly patched feature.
264
265     - There is a new script, "prepare-source" than can be used to update the
266       various generated files (proto.h, configure, etc.) even before configure
267       has created the Makefile (this is mainly useful when patching the source
268       with a patch that doesn't affect generated files).
269
270     - The testsuite now sets HOME so that it won't be affected by a file such
271       as ~/.popt.