- Changed ITEM_UPDATING to ITEM_TRANSFER.
[rsync/rsync.git] / NEWS
1 NEWS for rsync 2.6.4 (UNRELEASED)
2 Protocol: 29 (changed)
3 Changes since 2.6.3:
4
5   OUTPUT CHANGES:
6
7     - When rsync deletes a directory and outputs a verbose message about
8       it, it now appends a trailing slash to the name instead of (only
9       sometimes) outputting a preceding "directory " string.
10
11     - The --stats output will contain file-list time-statistics if both
12       sides are 2.6.4, or if the local side is 2.6.4 and the files are
13       being pushed (since the stats come from the sending side).
14       (Requires protocol 29 for a pull.)
15
16     - The "%o" (operation) log-format escape now has a third value (besides
17       "send" and "recv"):  "del." (with trailing dot to make it 4 chars).
18       This changes the way deletions are logged in the daemon's log file.
19
20     - When the --log-format option is combined with --verbose, rsync now
21       avoids outputting the name of the file twice in most circumstances.
22       As long as the --log-format item does not refer to any post-transfer
23       items (such as %b or %c), the --log-format message is output prior to
24       the transfer with --verbose being the equivalent of a --log-format of
25       '%n%L' (which outputs the name and any symlink info).  If the log
26       output must occur after the transfer to be complete, the only time
27       the name is also output prior to the transfer is when --progress was
28       specified (so that the name will precede the progress stats, and the
29       full --log-format output will come after).
30   
31   BUG FIXES:
32
33     - Restore the list-clearing behavior of "!" in a .cvsignore file (2.6.3
34       was only treating it as a special token in an rsync include/exclude
35       file).
36
37     - The combination of --verbose and --dry-run now mentions the full list
38       of changes that would be output without --dry-run.
39
40     - Avoid a mkdir warning when removing a directory in the destination
41       that already exists in the --backup-dir.
42
43     - An OS that has a binary mode for its files (such as cygwin) needed
44       setmode(fd, O_BINARY) called on the temp-file we opened with
45       mkstemp().  (Fix derived from the cygwin's 2.6.3 rsync package.)
46
47     - Fixed a potential hang when verbosity is high, the client side is
48       the sender, and the file-list is large.
49
50     - Fixed a potential protocol-corrupting bug where the generator
51       might accidentally merge a message from the receiver into the
52       middle of a multiplexed packet of data that is waiting for the
53       socket to allow it to flush.
54
55     - We now check if the OS doesn't support using mknod() for creating
56       FIFOs and sockets, and compile-in using mkfifo() and socket() when
57       necessary.
58
59     - Fixed an off-by-one error in the handling of --max-delete=N.
60
61     - One place in the code wasn't checking if fork() failed.
62
63     - The "ignore nonreadable" daemon parameter used to erroneously affect
64       symlinks that pointed to a non-existent file.  This has been fixed.
65
66     - If the OS does not have lchown() and a chown() of a symlink will
67       affect the referent of a symlink (as it should), we no longer try
68       to set the user and group of a symlink.
69
70     - The generator now properly runs the hard-link loop and the dir-time
71       rewriting loop after we're sure that the redo phase is complete.
72
73     - When --backup was specified with --partial-dir=DIR (where DIR is a
74       relative path), the backup code was erroneously trying to backup a
75       file that was put into the partial-dir.
76
77     - If a file gets resent in a single transfer and the --backup option is
78       enabled along with --inplace, rsync no longer performs a duplicate
79       backup (it used to overwrite the first backup with the failed file).
80
81     - One call to flush_write_file() was not being checked for an error.
82
83     - The --no-relative option was not being sent from the client to a
84       server sender.
85
86     - If an rsync daemon specified "dont compress = ..." for a file and the
87       client tried to specify --compress, the libz code was not handling a
88       compression level of 0 properly.  This could cause a transfer failure
89       if the block-size for a file was large enough (e.g. rsync might have
90       exited with an error for large files).
91
92     - Fixed a bug that would sometimes surface when using --compress and
93       sending a file with a block-size larger than 64K (either manually
94       specified, or computed due to the file being really large).  Prior
95       versions of rsync would sometimes fail to decompress the data
96       properly, and thus the transferred file would fail its verification.
97
98     - If a daemon can't open the specified log file (i.e. syslog is not
99       being used), die without crashing.  We also output an error about
100       the failure on stderr (which will only be seen if --no-detach was
101       specified).
102
103     - A local transfer no longer duplicates all its include/exclude options
104       (since the forked process already has a copy of the exclude list,
105       there's no need to send them a set of duplicates).
106
107     - When --progress is specified, the output of items that the generator
108       is creating (e.g. dirs, symlinks) is now integrated into the progress
109       output without overlapping it.  (Requires protocol 29.)
110
111     - When --timeout is specified, lulls that occur in the transfer while
112       the generator is doing work that does not generate socket traffic
113       (looking for changed files, deleting files, doing directory-time
114       touch-ups, etc.) will cause a new keep-alive packet to be sent that
115       should keep the transfer going as long as the generator continues to
116       make progress.  (Requires protocol 29.)
117
118     - The stat size of a device is not added to the total file size of the
119       items in the transfer since the size might be undefined on some OSes.
120
121     - Fixed a problem with refused-option messages sometimes not making it
122       back to the client side when a remote --files-from was in effect and
123       the daemon was the receiver.
124
125     - The --compare-dest option was not updating a file that differred in
126       (the preserved) attributes from the version in the compare-dest DIR.
127
128   ENHANCEMENTS:
129
130     - Rsync now supports popt's option aliases, which means that you can
131       use /etc/popt and/or ~/.popt to create your own option aliases.
132
133     - Added the --delete-during (--del) option which will delete files
134       from the receiving side incrementally as each directory in the
135       transfer is being processed.  This makes it more efficient than the
136       default, before-the-transfer behavior, which is now available as
137       --delete-before (and is still the default --delete-WHEN option that
138       will be chosen if --delete or --delete-excluded is specified without
139       a --delete-WHEN choice).  All the --del* options infer --delete, so
140       an rsync daemon that refuses "delete" will still refuse to allow any
141       file-deleting options.
142
143     - All the --delete-WHEN options are now more memory efficient:
144       Previously an entire duplicate set of file-list objects was created
145       on the receiving side for the entire destination hierarchy.  The new
146       algorithm only creates one directory of objects at a time (for files
147       inside the transfer).
148
149     - Added support for specifying multiple --compare-dest or --link-dest
150       options, but only of a single type. (Promoted from the patches dir
151       and enhanced.)
152
153     - Added the --max-size option. (Promoted from the patches dir.)
154
155     - The daemon-mode options were separated from the normal rsync options
156       so that they can't be mixed together.  This makes it impossible to
157       start a daemon that had improper default option values that could
158       cause problems when a client connects (e.g. a hang or an abort).
159
160     - The --bwlimit option may now be used in combination with --daemon
161       to specify both a default value for the daemon side and a value
162       that cannot be exceeded by a user-specified --bwlimit option.
163
164     - Added the "port" parameter to the rsyncd.conf file. (Promoted from
165       the patches dir.)  Also added "address".  A command-line option
166       will take precedence over a config-file option, as expected.
167
168     - In _exit_cleanup(): when we are exiting with a partially-received
169       file, we now flush any data in the write-cache before closing the
170       partial file.
171
172     - The --inplace support was enhanced to work with --compare-dest and
173       --link-dest. (Requires protocol 29.)
174
175     - Added the --dirs (-d) option for an easier way to copy directories
176       without recursion.
177
178     - Added the --list-only option, which is mainly a way for the client to
179       put the server into listing mode without needing to resort to any
180       internal option kluges (e.g. the age-old use of "-r --exclude="/*/*"
181       for a non-recursive listing).  This option is used automatically
182       (behind the scenes) when a modern rsync speaks to a modern daemon,
183       but may also be specified manually if you want to force the use of
184       the --list-only option over a remote-shell connection.
185
186     - Added the --omit-dir-times (-O) option, which will avoid updating
187       the modified time for directories when --times was specified.  This
188       option will avoid an extra pass through the file-list at the end of
189       the transfer (to tweak all the directory times), which can result in
190       an appreciable speedup for a really large transfer. (Promoted from
191       the patches dir.)
192
193     - Added the --filter (-f) option and its helper option, -F.  Filter
194       rules are an extension to the existing include/exclude handling
195       that also supports nested filter files as well as per-directory
196       filter files (like .cvsignore, but with full filter-rule parsing).
197       This new option was chosen in order to ensure that all existing
198       include/exclude processing remained 100% compatible with older
199       versions.  Protocol 29 is needed for full filter-rule support, but
200       backward-compatible rules work with earlier protocol versions.
201       (Promoted from the patches dir and enhanced.)
202
203     - Added the --delay-updates option that puts all updated files into
204       a temporary directory (by default ".~tmp~", but settable via the
205       --partial-dir=DIR option) until the end of the transfer.  This
206       makes the updates a little more atomic for a large transfer.
207
208     - If rsync is put into the background, any output from --progress is
209       reduced.
210
211     - Documented the "max verbosity" setting for rsyncd.conf.  (This
212       setting was added a couple releases ago, but left undocumented.)
213
214     - The sender and the generator now double-check the file-list index
215       they are given, and refuse to try to do a file transfer on a
216       non-file index (since that would indicate that something had gone
217       very wrong).
218
219     - Added the --itemize-changes (-i) option, which is a way to output a
220       more detailed list of what files changed in any way and how they
221       changed.  The effect is the same as specifying a --log-format of
222       "%i %n%L" (see the rsyncd.conf manpage).  Works with --dry-run too.
223
224     - Added the --fuzzy option, which attempts to find a basis file for a
225       file that is being created from scratch.  The current algorithm
226       only looks in the destination directory for the created file, but
227       it does attempt to find a match based on size/mod-time (in case the
228       file was renamed with no other changes) as well as based on a fuzzy
229       name-matching algorithm.  This option requires protocol 29 because
230       it needs the new file-sorting order.  (Promoted from patches dir
231       and enhanced.)
232
233     - Added the --remove-sent-files option, which lets you move files
234       between systems.
235
236     - The hostname in HOST:PATH or HOST::PATH may now be an IPv6 literal
237       enclosed in '[' and ']' (e.g. "[::1]").  (We already allowed IPv6
238       literals in the rsync://HOST:PORT/PATH format.)
239
240     - When building under windows, the default for --daemon is now to
241       avoid detaching, requiring the new --detach option to force rsync
242       to detach.
243
244     - Improved the option descriptions in the --help text.
245
246   SUPPORT FILES:
247
248     - Added atomic-rsync to the support dir: a perl script that will
249       transfer some files using rsync, and then move the updated files into
250       place all at once at the end of the transfer.  Only works when
251       pulling, and uses --link-dest and a parallel hierarchy of files to
252       effect its update.
253
254     - Added mnt-excl to the support dir: a perl script that takes the
255       /proc/mounts file and translates it into a set of excludes that will
256       exclude all mount points (even mapped mounts to the same disk).  The
257       excludes are made relative to the specified source dir and properly
258       anchored.
259
260     - Added savetransfer.c to the support dir: a C program that can make
261       a copy of all the data that flows over the wire.  This lets you test
262       for data corruption (by saving the data on both the sending side and
263       the receiving side) or provides a way to help debug a protocol error.
264
265     - Added rrsync to the support dir: this is my version of Joe Smith's
266       restricted rsync perl script.  This helps to ensure that only certain
267       rsync commands can be run by an ssh invocation.
268
269   INTERNAL:
270
271     - Added better checking of the checksum-header values that come over
272       the socket.
273
274     - Merged a variety of file-deleting functions into a single function so
275       that it is easier to maintain.
276
277     - Improved the type of some variables (particularly blocksize vars) for
278       consistency and proper size.
279
280     - Got rid of the uint64 type (which we didn't need).
281
282     - Use a slightly more compatible set of core #include directives.
283
284     - Defined int32 in a way that ensures that the build dies if we can't
285       find a variable with at least 32 bits.
286
287     - The daemon's "read only" config item now sets an internal read_only
288       variable that makes extra sure that no write/delete calls on the
289       read-only side can succeed.
290
291   PROTOCOL DIFFERENCES FOR VERSION 29:
292
293     - A 16-bit flag-word is transmitted after every file-list index.  This
294       indicates what is changing between the sender and the receiver.  The
295       generator now transmits an index and a flag-word to indicate when
296       dirs and symlinks have changed (instead of producing a message),
297       which makes the outputting of the information more consistent and
298       less prone to screen corruption (because either the receiver or the
299       sender is now outputting all the file-change info).
300
301     - If --inplace is specified, the generator flags any transfer that is
302       using an alternate basis file so that the sender can use the entire
303       basis file in the rsync algorithm (unlike a normal --inplace update).
304
305     - The sending of exclude names is done using filter-rule syntax.  This
306       means that all names have a prefixed rule indicator, even excludes
307       (which used to be sent as a bare pattern, when possible).  The -C
308       option will include the per-dir .cvsignore merge file in the list of
309       filter rules so it is positioned correctly (unlike in some older
310       transfer scenarios).
311
312     - Rsync sorts the filename list in a different way: it sorts the subdir
313       names after the non-subdir names for each dir's contents, and it
314       always puts a dir's contents immediately after the dir's name in the
315       list.  (Previously an item named "foo.txt" would sort in between
316       directory "foo/" and "foo/bar".)
317
318     - When talking to a protocol 29 rsync daemon, a list-only request
319       is able to note this before the options are sent over the wire and
320       the new --list-only option is included in the options.
321
322     - When the --stats bytes are sent over the wire (or stored in a batch),
323       they now include two elapsed-time values: one for how long it took to
324       build the file-list, and one for how long it took to send it over the
325       wire (each expressed in thousandths of a second).
326
327     - When --delete-excluded is specified with some filter excludes, a
328       client sender will now initiate a send of the filter rules to the
329       receiver (older protocols used to omit the sending of excludes in
330       this situation since there were no receiver-specific rules that
331       survived --delete-excluded back then).  Note that, as with all the
332       filter-list sending, only items that are significant to the other
333       side will actually be sent over the wire, so the filter-rule list
334       is often empty in this scenario.
335
336     - A protocol-29 batch file includes a bit for the setting of the --dirs
337       option.  Also, the shell script created by --write-batch will use the
338       --filter option instead of --exclude-from to capture any filter rules.
339
340     - An index equal to the file-list count is sent as a keep-alive packet
341       from the generator to the sender, which then forwards it on to the
342       receiver.  This normally invalid index is only a valid keep-alive
343       packet if the 16-bit flag-word that follows it contains a single bit
344       (ITEM_IS_NEW, which is normally an illegal flag to appear alone).
345
346   BUILD CHANGES:
347
348     - Handle an operating system that use mkdev() in place of makedev().
349
350     - Improved configure to better handle cross-compiling.