Make idev, hlink and file_struct + strings use allocation
[rsync/rsync.git] / NEWS
1 NEWS for rsync 2.6.1 (UNRELEASED)
2 Protocol: 27 (unchanged)
3 Changes since 2.6.0:
4
5   ENHANCEMENTS:
6
7     * Lower memory use and more optimal transfer of data over
8       the socket (see the INTERNAL section for details).
9
10     * The RSYNC_PROXY environment variable can now contain a
11       "USER:PASS@" prefix before the "HOST:PORT" information.
12       (Bardur Arantsson)
13
14     * The --progress output now mentions how far along in the
15       transfer we are, including both a count of files transferred
16       and a percentage of the total file-count that we're processed.
17
18   BUG FIXES:
19
20     * When -x (--one-file-system) is combined with -L (--copy-links)
21       or --copy-unsafe-links, no symlinked files are skipped, even
22       if the referant file is on a different filesystem.
23
24     * The --link-dest code now works properly for a non-root user
25       when the UIDs of the source and destination differ and -o was
26       specified, and when the group of the source can't be used on
27       the destination and -g was specified.  (Wayne Davison)
28
29     * Fixed a bug in the handling of -H (hard-links) that might
30       cause the expanded PATH/NAME value of the current item to
31       get overwritten (due to an expanded-name caching bug).
32       (Wayne Davison)
33       
34     * We now reset the "new data has been sent" flag at the start
35       of each file we send.  This makes sure that an interrupted
36       transfer with the --partial option set doesn't keep a shorter
37       temp file than the current basis file when no new data has been
38       transfered over the wire for that file.  (Wayne Davison)
39
40     * Fixed a byte-order problem in --batch-mode on big-endian
41       machines.  (Jay Fenlason)
42
43     * Fixed configure bug when running "./configure --disable-ipv6".
44       (Wayne Davison)
45
46     * Fixed "make test" bug when build dir is not the source dir.
47
48     * When using --cvs-exclude, the exclude items we get from a
49       directory's .cvsignore file once again only affect that one
50       directory (and not all following directories too).
51
52     * When transferring a file that has group 0 with -g specified
53       (typically via -a) and not enough privs to retain the group,
54       rsync no longer complains about "chown" failing.
55
56     * When specifying the USER@HOST: prefix for a file, the USER
57       part can now contain an '@', if needed (i.e. the last '@'
58       is used to find the HOST, not the first).
59
60     * Fixed some bugs in the handling of group IDs for non-root
61       users:  (1) It properly handles a group that the sender didn't
62       have a name for (it would previously skip changing the group
63       on any files in that group).  (2) If --numeric-ids is used,
64       rsync no longer attempts to set groups that the user doesn't
65       have the permission to set.
66
67   INTERNAL:
68
69     * Most of the I/O is now buffered, which results in a pretty
70       large speedup when running under MS Windows.  (Craig Barratt)
71
72     * Optimizations to the name-handling/comparing code have made
73       some significant reductions in user-CPU time for large file
74       sets.  (Wayne Davison)
75
76     * Some variable-type cleanup that makes the code more consistent.
77       (Wayne Davison)
78
79     * Reduced memory requirements of hard link preservation.
80       (J.W. Schultz)
81
82     * Implemented a new algorithm for hard-link handling that speeds
83       up the code significantly.  (J.W. Schultz and Wayne Davison)
84
85     * The --hard-link option now uses the first existing file in the
86       group of linked files as the basis for the transfer.  This
87       prevents the sub-optimal transfer of a file's data when a new
88       hardlink is added on the sending side and it sorts alphabetically
89       earlier in the list than the files that are already present on the
90       receiving side.
91
92     * Got rid of support for protocol versions 17 and 18 (which are
93       both over 6 years old).  (Wayne Davison)
94
95     * More optimal data transmission for --hard-links (protocol 28).
96
97     * More optimal data transmission for --checksum (protocol 28).
98
99     * Less memory is used when --checksum is specified.
100
101     * Less memory is used in the file list (a per-file savings).
102
103     * Changed hardlink info and file_struct + strings to use
104       allocation pools.  This reduces memory use for large
105       filesets and permits freeing memory to the OS.  (J.W. Schultz) 
106
107     * The 2 pipes used between the receiver and generator processes
108       (which are forked on the same machine) were reduced to 1 pipe
109       and the protocol improved so that (1) it is now impossible to
110       have the "redo" pipe fill up and hang rsync, and (2) trailing
111       messages from the receiver don't get lost on their way through
112       the generator over to the sender (the latter mainly affected
113       hard-link messages).  (Wayne Davison)
114
115     * The reading & writing of the file list in batch-mode is now
116       handled by the same code that sends & receives the list over
117       the wire.  This makes it much easier to maintain.
118
119     * Optimized the -x (--one-file-system) flag's handling of any
120       mount-point directories we encounter (it no longer scans the
121       contents of the mount-point dirs, just to throw away the data).
122
123     * Improved the internal uid/gid code to be more portable and
124       a little more optimized.
125
126 \f
127 NEWS for rsync 2.6.0 (1 Jan 2004)
128 Protocol: 27 (changed)
129 Changes since 2.5.7:
130
131   ENHANCEMENTS:
132
133     * "ssh" is now the default remote shell for rsync.  If you want to
134       change this, configure like this:  "./configure --with-rsh=rsh".
135
136     * Added --files-from, --no-relative, --no-implied-dirs, and --from0.
137       Note that --from0 affects the line-ending character for all the
138       files read by the --*-from options. (Wayne Davison)
139
140     * Length of csum2 is now per-file starting with protocol version
141       27. (J.W. Schultz)
142
143     * Per-file dynamic block size is now sqrt(file length).  The
144       per-file checksum size is determined according to an algorithm
145       provided by Donovan Baarda which reduces the probability of rsync
146       algorithm corrupting data and falling back using the whole md4
147       checksums. (J.W. Schultz, Donovan Baarda)
148
149     * The --stats option no longer includes the (debug) malloc summary
150       unless the verbose option was specified at least twice.
151
152     * Added a new error/warning code for when files vanish from the
153       sending side.  Made vanished source files not interfere with the
154       file-deletion pass when --delete-after was specified.
155
156     * Various trailing-info sections are now preceded by a newline.
157
158   BUG FIXES:
159
160     * Fixed several exclude/include matching bugs when using wild-cards.
161       This has a several user-visible effects, all of which make the
162       matching more consistent and intuitive.  This should hopefully not
163       cause anyone problems since it makes the matching work more like
164       what people are expecting. (Wayne Davison)
165
166       - A pattern with a "**" no longer causes a "*" to match slashes.
167         For example, with "/*/foo/**", "foo" must be 2 levels deep.
168         [If your string has BOTH "*" and "**" wildcards, changing the
169         "*" wildcards to "**" will provide the old behavior in all
170         versions.]
171
172       - "**/foo" now matches at the base of the transfer (like /foo
173         does).  [Use "/**/foo" to get the old behavior in all versions.]
174
175       - A non-anchored wildcard term floats to match beyond the base of
176         the transfer.  E.g. "CVS/R*" matches at the end of the path,
177         just like the non-wildcard term "CVS/Root" does. [Use "/CVS/R*"
178         to get the old behavior in all versions.]
179
180       - Including a "**" in the match term causes it to be matched
181         against the entire path, not just the name portion, even if
182         there aren't any interior slashes in the term.  E.g. "foo**bar"
183         would exclude "/path/foo-bar" (just like before) as well as
184         "/foo-path/baz-bar" (unlike before).  [Use "foo*bar" to get the
185         old behavior in all versions.]
186
187     * The exclude list specified in the daemon's config file is now
188       properly applied to the pulled items no matter how deep the
189       user's file-args are in the source tree.  (Wayne Davison)
190
191     * For protocol version >= 27, mdfour_tail() is called when the
192       block size (including checksum_seed) is a multiple of 64.
193       Previously it was not called, giving the wrong MD4 checksum.
194       (Craig Barratt)
195
196     * For protocol version >= 27, a 64 bit bit counter is used in
197       mdfour.c as required by the RFC.  Previously only a 32 bit bit
198       counter was used, causing incorrect MD4 file checksums for
199       file sizes >= 512MB - 4.  (Craig Barratt)
200
201     * Fixed a crash bug when interacting with older rsync versions and
202       multiple files of the same name are destined for the same dir.
203       (Wayne Davison)
204
205     * Keep tmp names from overflowing MAXPATHLEN.
206
207     * Make --link-dest honor the absence of -p, -o, and -g.
208
209     * Made rsync treat a trailing slash in the destination in a more
210       consistent manner.
211
212     * Fixed file I/O error detection.  (John Van Essen)
213
214     * Fixed bogus "malformed address {hostname}" message in rsyncd log
215       when checking IP address against hostnames from "hosts allow"
216       and "hosts deny" parameters in config file.
217
218     * Print heap statistics when verbose >= 2 instead of when >= 1.
219
220     * Fixed a compression (-z) bug when syncing a mostly-matching file
221       that contains already-compressed data.  (Yasuoka Masahiko and
222       Wayne Davison)
223
224     * Fixed a bug in the --backup code that could cause deleted files
225       to not get backed up.
226
227     * When the backup code makes new directories, create them with mode
228       0700 instead of 0755 (since the directory permissions in the
229       backup tree are not yet copied from the main tree).
230
231     * Call setgroups() in a more portable manner.
232
233     * Improved file-related error messages to better indicate exactly
234       what pathname failed. (Wayne Davison)
235
236     * Fixed some bugs in the handling of --delete and --exclude when
237       using the --relative (-R) option. (Wayne Davison)
238
239     * Fixed bug that prevented regular files from replacing
240       special files and caused a directory in --link-dest or
241       --compare-dest to block the creation of a file with the
242       same path.  A directory still cannot be replaced by a
243       regular file unless --delete specified.  (J.W. Schultz)
244
245     * Detect and report when open or opendir succeed but read and
246       readdir fail caused by network filesystem issues and truncated
247       files.  (David Norwood, Michael Brown, J.W. Schultz)
248
249     * Added a fix that should give ssh time to restore the tty settings
250       if the user presses Ctrl-C at an ssh password prompt.
251
252   INTERNAL:
253
254     * Eliminated vestigial support for old versions that we stopped
255       supporting. (J.W. Schultz)
256
257     * Simplified some of the option-parsing code. (Wayne Davison)
258
259     * Some cleanup made to the exclude code, as well as some new
260       defines added to enhance readability. (Wayne Davison)
261
262     * Changed the protocol-version code so that it can interact at a
263       lower protocol level than the maximum supported by both sides.
264       Added an undocumented option, --protocol=N, to force the value
265       we advertise to the other side (primarily for testing purposes).
266       (Wayne Davison)