Progress improvement.
[rsync/rsync.git] / NEWS
1 NEWS for rsync 2.6.1 (UNRELEASED)
2 Protocol: 27 (unchanged)
3 Changes since 2.6.0:
4
5   ENHANCEMENTS:
6
7     * Lower memory use and more optimal transfer of data over
8       the socket (see the INTERNAL section for details).
9
10     * The RSYNC_PROXY environment variable can now contain a
11       "USER:PASS@" prefix before the "HOST:PORT" information.
12       (Bardur Arantsson)
13
14     * The --progress output now mentions how far along in the
15       transfer we are, including both a count of files transferred
16       and a percentage of the total file-count that we're processed.
17       It was also improved to better show the current rate of
18       transfer and the estimated time left.
19
20     * The configure script now accepts --with-rsyncd-conf=PATH
21       to override the default value of the /etc/rsyncd.conf file.
22
23   BUG FIXES:
24
25     * When -x (--one-file-system) is combined with -L (--copy-links)
26       or --copy-unsafe-links, no symlinked files are skipped, even
27       if the referant file is on a different filesystem.
28
29     * The --link-dest code now works properly for a non-root user
30       when the UIDs of the source and destination differ and -o was
31       specified, and when the group of the source can't be used on
32       the destination and -g was specified.  (Wayne Davison)
33
34     * Fixed a bug in the handling of -H (hard-links) that might
35       cause the expanded PATH/NAME value of the current item to
36       get overwritten (due to an expanded-name caching bug).
37       (Wayne Davison)
38       
39     * We now reset the "new data has been sent" flag at the start
40       of each file we send.  This makes sure that an interrupted
41       transfer with the --partial option set doesn't keep a shorter
42       temp file than the current basis file when no new data has been
43       transfered over the wire for that file.  (Wayne Davison)
44
45     * Fixed a byte-order problem in --batch-mode on big-endian
46       machines.  (Jay Fenlason)
47
48     * Fixed configure bug when running "./configure --disable-ipv6".
49       (Wayne Davison)
50
51     * Fixed "make test" bug when build dir is not the source dir.
52
53     * When using --cvs-exclude, the exclude items we get from a
54       directory's .cvsignore file once again only affect that one
55       directory (and not all following directories too).
56
57     * When transferring a file that has group 0 with -g specified
58       (typically via -a) and not enough privs to retain the group,
59       rsync no longer complains about "chown" failing.
60
61     * When specifying the USER@HOST: prefix for a file, the USER
62       part can now contain an '@', if needed (i.e. the last '@'
63       is used to find the HOST, not the first).
64
65     * Fixed some bugs in the handling of group IDs for non-root
66       users:  (1) It properly handles a group that the sender didn't
67       have a name for (it would previously skip changing the group
68       on any files in that group).  (2) If --numeric-ids is used,
69       rsync no longer attempts to set groups that the user doesn't
70       have the permission to set.
71
72     * Fixed the "refuse options" setting in the rsyncd.conf file.
73
74     * Rsync no longer discards a double-slash at the start of a filename
75       when trying to open the file.  It also no longer constructs names
76       that start with a double slash (unless the user supplied both).
77
78     * Fixed compilation problem on Tru64 Unix (having to do with
79       sockaddr.sa_len and sockaddr.sin_len).
80
81   INTERNAL:
82
83     * Most of the I/O is now buffered, which results in a pretty
84       large speedup when running under MS Windows.  (Craig Barratt)
85
86     * Optimizations to the name-handling/comparing code have made
87       some significant reductions in user-CPU time for large file
88       sets.  (Wayne Davison)
89
90     * Some variable-type cleanup that makes the code more consistent.
91       (Wayne Davison)
92
93     * Reduced memory requirements of hard link preservation.
94       (J.W. Schultz)
95
96     * Implemented a new algorithm for hard-link handling that speeds
97       up the code significantly.  (J.W. Schultz and Wayne Davison)
98
99     * The --hard-link option now uses the first existing file in the
100       group of linked files as the basis for the transfer.  This
101       prevents the sub-optimal transfer of a file's data when a new
102       hardlink is added on the sending side and it sorts alphabetically
103       earlier in the list than the files that are already present on the
104       receiving side.
105
106     * Dropped support for protocol versions less than 20
107       (2.3.0 released 15 Mar 1999) and activated warnings for
108       protocols less than 25 (2.5.0 released 23 Aug 2001)
109           (Wayne Davison and J.W. Schultz, severally)
110
111     * More optimal data transmission for --hard-links (protocol 28).
112
113     * More optimal data transmission for --checksum (protocol 28).
114
115     * Less memory is used when --checksum is specified.
116
117     * Less memory is used in the file list (a per-file savings).
118
119     * Changed hardlink info and file_struct + strings to use
120       allocation pools.  This reduces memory use for large
121       filesets and permits freeing memory to the OS.  (J.W. Schultz) 
122
123     * The 2 pipes used between the receiver and generator processes
124       (which are forked on the same machine) were reduced to 1 pipe
125       and the protocol improved so that (1) it is now impossible to
126       have the "redo" pipe fill up and hang rsync, and (2) trailing
127       messages from the receiver don't get lost on their way through
128       the generator over to the sender (the latter mainly affected
129       hard-link messages).  (Wayne Davison)
130
131     * The reading & writing of the file list in batch-mode is now
132       handled by the same code that sends & receives the list over
133       the wire.  This makes it much easier to maintain.
134
135     * Optimized the -x (--one-file-system) flag's handling of any
136       mount-point directories we encounter (it no longer scans the
137       contents of the mount-point dirs, just to throw away the data).
138
139     * Improved the internal uid/gid code to be more portable and
140       a little more optimized.
141
142 \f
143 NEWS for rsync 2.6.0 (1 Jan 2004)
144 Protocol: 27 (changed)
145 Changes since 2.5.7:
146
147   ENHANCEMENTS:
148
149     * "ssh" is now the default remote shell for rsync.  If you want to
150       change this, configure like this:  "./configure --with-rsh=rsh".
151
152     * Added --files-from, --no-relative, --no-implied-dirs, and --from0.
153       Note that --from0 affects the line-ending character for all the
154       files read by the --*-from options. (Wayne Davison)
155
156     * Length of csum2 is now per-file starting with protocol version
157       27. (J.W. Schultz)
158
159     * Per-file dynamic block size is now sqrt(file length).  The
160       per-file checksum size is determined according to an algorithm
161       provided by Donovan Baarda which reduces the probability of rsync
162       algorithm corrupting data and falling back using the whole md4
163       checksums. (J.W. Schultz, Donovan Baarda)
164
165     * The --stats option no longer includes the (debug) malloc summary
166       unless the verbose option was specified at least twice.
167
168     * Added a new error/warning code for when files vanish from the
169       sending side.  Made vanished source files not interfere with the
170       file-deletion pass when --delete-after was specified.
171
172     * Various trailing-info sections are now preceded by a newline.
173
174   BUG FIXES:
175
176     * Fixed several exclude/include matching bugs when using wild-cards.
177       This has a several user-visible effects, all of which make the
178       matching more consistent and intuitive.  This should hopefully not
179       cause anyone problems since it makes the matching work more like
180       what people are expecting. (Wayne Davison)
181
182       - A pattern with a "**" no longer causes a "*" to match slashes.
183         For example, with "/*/foo/**", "foo" must be 2 levels deep.
184         [If your string has BOTH "*" and "**" wildcards, changing the
185         "*" wildcards to "**" will provide the old behavior in all
186         versions.]
187
188       - "**/foo" now matches at the base of the transfer (like /foo
189         does).  [Use "/**/foo" to get the old behavior in all versions.]
190
191       - A non-anchored wildcard term floats to match beyond the base of
192         the transfer.  E.g. "CVS/R*" matches at the end of the path,
193         just like the non-wildcard term "CVS/Root" does. [Use "/CVS/R*"
194         to get the old behavior in all versions.]
195
196       - Including a "**" in the match term causes it to be matched
197         against the entire path, not just the name portion, even if
198         there aren't any interior slashes in the term.  E.g. "foo**bar"
199         would exclude "/path/foo-bar" (just like before) as well as
200         "/foo-path/baz-bar" (unlike before).  [Use "foo*bar" to get the
201         old behavior in all versions.]
202
203     * The exclude list specified in the daemon's config file is now
204       properly applied to the pulled items no matter how deep the
205       user's file-args are in the source tree.  (Wayne Davison)
206
207     * For protocol version >= 27, mdfour_tail() is called when the
208       block size (including checksum_seed) is a multiple of 64.
209       Previously it was not called, giving the wrong MD4 checksum.
210       (Craig Barratt)
211
212     * For protocol version >= 27, a 64 bit bit counter is used in
213       mdfour.c as required by the RFC.  Previously only a 32 bit bit
214       counter was used, causing incorrect MD4 file checksums for
215       file sizes >= 512MB - 4.  (Craig Barratt)
216
217     * Fixed a crash bug when interacting with older rsync versions and
218       multiple files of the same name are destined for the same dir.
219       (Wayne Davison)
220
221     * Keep tmp names from overflowing MAXPATHLEN.
222
223     * Make --link-dest honor the absence of -p, -o, and -g.
224
225     * Made rsync treat a trailing slash in the destination in a more
226       consistent manner.
227
228     * Fixed file I/O error detection.  (John Van Essen)
229
230     * Fixed bogus "malformed address {hostname}" message in rsyncd log
231       when checking IP address against hostnames from "hosts allow"
232       and "hosts deny" parameters in config file.
233
234     * Print heap statistics when verbose >= 2 instead of when >= 1.
235
236     * Fixed a compression (-z) bug when syncing a mostly-matching file
237       that contains already-compressed data.  (Yasuoka Masahiko and
238       Wayne Davison)
239
240     * Fixed a bug in the --backup code that could cause deleted files
241       to not get backed up.
242
243     * When the backup code makes new directories, create them with mode
244       0700 instead of 0755 (since the directory permissions in the
245       backup tree are not yet copied from the main tree).
246
247     * Call setgroups() in a more portable manner.
248
249     * Improved file-related error messages to better indicate exactly
250       what pathname failed. (Wayne Davison)
251
252     * Fixed some bugs in the handling of --delete and --exclude when
253       using the --relative (-R) option. (Wayne Davison)
254
255     * Fixed bug that prevented regular files from replacing
256       special files and caused a directory in --link-dest or
257       --compare-dest to block the creation of a file with the
258       same path.  A directory still cannot be replaced by a
259       regular file unless --delete specified.  (J.W. Schultz)
260
261     * Detect and report when open or opendir succeed but read and
262       readdir fail caused by network filesystem issues and truncated
263       files.  (David Norwood, Michael Brown, J.W. Schultz)
264
265     * Added a fix that should give ssh time to restore the tty settings
266       if the user presses Ctrl-C at an ssh password prompt.
267
268   INTERNAL:
269
270     * Eliminated vestigial support for old versions that we stopped
271       supporting. (J.W. Schultz)
272
273     * Simplified some of the option-parsing code. (Wayne Davison)
274
275     * Some cleanup made to the exclude code, as well as some new
276       defines added to enhance readability. (Wayne Davison)
277
278     * Changed the protocol-version code so that it can interact at a
279       lower protocol level than the maximum supported by both sides.
280       Added an undocumented option, --protocol=N, to force the value
281       we advertise to the other side (primarily for testing purposes).
282       (Wayne Davison)