Added a way for supplementary groups to be specified in the rsyncd.conf
[rsync/rsync.git] / testsuite / rsync.fns
1 #! /bin/sh
2
3 # Copyright (C) 2001 by Martin Pool <mbp@samba.org>
4
5 # General-purpose test functions for rsync.
6
7 # This program is free software; you can redistribute it and/or modify
8 # it under the terms of the GNU General Public License version
9 # 2 as published by the Free Software Foundation.
10 #
11 # This program is distributed in the hope that it will be useful, but
12 # WITHOUT ANY WARRANTY; without even the implied warranty of
13 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14 # Lesser General Public License for more details.
15
16 # You should have received a copy of the GNU Lesser General Public
17 # License along with this program; if not, write to the Free Software
18 # Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
19
20
21 tmpdir="$scratchdir"
22 fromdir="$tmpdir/from"
23 todir="$tmpdir/to"
24 chkdir="$tmpdir/chk"
25
26 # For itemized output:
27 all_plus='+++++++++'
28 allspace='         '
29 dots='.....' # trailing dots after changes
30
31 # Berkley's nice.
32 PATH="$PATH:/usr/ucb"
33
34 if diff -u "$srcdir/testsuite/rsync.fns" "$srcdir/testsuite/rsync.fns" >/dev/null 2>&1; then
35     diffopt="-u"
36 else
37     diffopt="-c"
38 fi
39
40 HOME="$scratchdir"
41 export HOME
42
43 runtest() {
44     echo $ECHO_N "Test $1: $ECHO_C"
45     if eval "$2"
46     then
47         echo "$ECHO_T   done."
48         return 0
49     else
50         echo "$ECHO_T failed!"
51         return 1
52     fi
53 }
54
55 set_cp_destdir() {
56     while test $# -gt 1; do
57         shift
58     done
59     destdir="$1"
60 }
61
62 # Perform a "cp -p", making sure that timestamps are really the same,
63 # even if the copy rounded microsecond times on the destination file.
64 cp_touch() {
65     cp -p "${@}" || test_fail "cp -p failed"
66     if test $# -gt 2 -o -d "$2"; then
67         set_cp_destdir "${@}" # sets destdir var
68         while test $# -gt 1; do
69             destname="$destdir/`basename $1`"
70             touch -r "$destname" "$1" "$destname"
71             shift
72         done
73     else
74         touch -r "$2" "$1" "$2"
75     fi
76 }
77
78 # Call this if you want to filter out verbose messages (-v or -vv) from
79 # the output of an rsync run (whittling the output down to just the file
80 # messages).  This isn't needed if you use -i without -v.
81 filter_outfile() {
82     sed -e '/^building file list /d' \
83         -e '/^sending incremental file list/d' \
84         -e '/^created directory /d' \
85         -e '/^done$/d' \
86         -e '/ --whole-file$/d' \
87         -e '/^total: /d' \
88         -e '/^client charset: /d' \
89         -e '/^server charset: /d' \
90         -e '/^$/,$d' \
91         <"$outfile" >"$outfile.new"
92     mv "$outfile.new" "$outfile"
93 }
94
95 printmsg() {
96     echo "$1"
97 }
98
99 rsync_ls_lR() {
100     find "$@" -print | sort | sed 's/ /\\ /g' | xargs "$TOOLDIR/tls" $TLS_ARGS
101 }
102
103 check_perms() {
104     perms=`"$TOOLDIR/tls" "$1" | sed 's/^[-d]\(.........\).*/\1/'`
105     if test $perms = $2; then
106         return 0
107     fi
108     echo "permissions: $perms on $1"
109     echo "should be:   $2"
110     test_fail "failed test $3"
111 }
112
113 rsync_getgroups() { 
114     "$TOOLDIR/getgroups"
115 }
116
117
118 ####################
119 # Build test directories $todir and $fromdir, with $fromdir full of files.
120
121 hands_setup() {
122     # Clean before creation
123     rm -rf "$fromdir"
124     rm -rf "$todir"
125
126     [ -d "$tmpdir" ] || mkdir "$tmpdir"
127     [ -d "$fromdir" ] || mkdir "$fromdir"
128     [ -d "$todir" ] || mkdir "$todir"
129
130     # On some BSD systems, the umask affects the mode of created
131     # symlinks, even though the mode apparently has no effect on how
132     # the links behave in the future, and it cannot be changed using
133     # chmod!  rsync always sets its umask to 000 so that it can
134     # accurately recreate permissions, but this script is probably run
135     # with a different umask. 
136
137     # This causes a little problem that "ls -l" of the two will not be
138     # the same.  So, we need to set our umask before doing any creations.
139
140     # set up test data
141     touch "$fromdir/empty"
142     mkdir "$fromdir/emptydir"
143
144     # a hundred lines of text or so
145     rsync_ls_lR "$srcdir" > "$fromdir/filelist"
146
147     echo $ECHO_N "This file has no trailing lf$ECHO_C" > "$fromdir/nolf"
148     umask 0
149     ln -s nolf "$fromdir/nolf-symlink"
150     umask 022
151
152     cat "$srcdir"/*.c > "$fromdir/text"
153     mkdir "$fromdir/dir"
154     cp "$fromdir/text" "$fromdir/dir"
155     mkdir "$fromdir/dir/subdir"
156     echo some data > "$fromdir/dir/subdir/foobar.baz"
157     mkdir "$fromdir/dir/subdir/subsubdir"
158     if [ -r /etc ]; then
159         ls -ltr /etc > "$fromdir/dir/subdir/subsubdir/etc-ltr-list"
160     else
161         ls -ltr / > "$fromdir/dir/subdir/subsubdir/etc-ltr-list"
162     fi
163     mkdir "$fromdir/dir/subdir/subsubdir2"
164     if [ -r /bin ]; then
165         ls -lt /bin > "$fromdir/dir/subdir/subsubdir2/bin-lt-list"
166     else
167         ls -lt / > "$fromdir/dir/subdir/subsubdir2/bin-lt-list"
168     fi
169
170 #      echo testing head:
171 #      ls -lR "$srcdir" | head -10 || echo failed
172 }
173
174
175 ####################
176 # Many machines do not have "mkdir -p", so we have to build up long paths.
177 # How boring.  
178 makepath() {
179     for p in "${@}"; do
180         (echo "        makepath $p"
181
182         # Absolut Unix.
183         if echo $p | grep '^/' >/dev/null
184         then
185             cd /
186         fi
187     
188         # This will break if $p contains a space.
189         for c in `echo $p | tr '/' ' '`
190         do 
191             if [ -d "$c" ] || mkdir "$c" 
192             then
193                 cd "$c" || return $?
194             else
195                 echo "failed to create $c" >&2; return $?
196             fi
197         done)
198     done
199 }
200
201
202
203 ###########################
204 # Run a test (in '$1') then compare directories $2 and $3 to see if
205 # there are any difference.  If there are, explain them.
206
207 # So normally basically $1 should be an rsync command, and $2 and $3
208 # the source and destination directories.  This is only good when you
209 # expect to transfer the whole directory exactly as is.  If some files
210 # should be excluded, you might need to use something else.
211
212 checkit() {
213     failed=
214
215     # We can just write everything to stdout/stderr, because the
216     # wrapper hides it unless there is a problem.
217
218     echo "Running: \"$1\""  
219     eval "$1" 
220     status=$?
221     if [ $status != 0 ]; then
222         failed="YES";
223     fi
224
225     echo "-------------"
226     echo "check how the directory listings compare with diff:"
227     echo ""
228     ( cd "$2" && rsync_ls_lR . ) > "$tmpdir/ls-from"
229     ( cd "$3" && rsync_ls_lR . ) > "$tmpdir/ls-to"
230     diff $diffopt "$tmpdir/ls-from" "$tmpdir/ls-to" || failed=YES
231
232     echo "-------------"
233     echo "check how the files compare with diff:"
234     echo ""
235     if [ "x$4" != x ]; then
236         echo "  === Skipping (as directed) ==="
237     else
238         diff -r $diffopt "$2" "$3" || failed=YES
239     fi
240
241     echo "-------------"
242     if [ -z "$failed" ] ; then
243         return 0
244     else
245         return 1
246     fi
247 }
248
249
250 build_rsyncd_conf() {
251     # Build an appropriate configuration file
252     conf="$scratchdir/test-rsyncd.conf"
253     echo "building configuration $conf"
254
255     port=2612
256     pidfile="$scratchdir/rsyncd.pid"
257     logfile="$scratchdir/rsyncd.log"
258     hostname=`uname -n`
259
260     cat >"$conf" <<EOF
261 # rsyncd configuration file autogenerated by $0
262
263 pid file = $pidfile
264 use chroot = no
265 munge symlinks = no
266 hosts allow = localhost 127.0.0.0/24 192.168.0.0/16 10.0.0.0/8 $hostname
267 log file = $logfile
268 log format = %i %h [%a] %m (%u) %l %f%L
269 transfer logging = yes
270 exclude = ? foobar.baz
271 max verbosity = 4
272 #uid = 0
273 #gid = 0
274
275 [test-from]
276         path = $fromdir
277         read only = yes
278         comment = r/o
279
280 [test-to]
281         path = $todir
282         read only = no
283         comment = r/w
284
285 [test-scratch]
286         path = $scratchdir
287         read only = no
288
289 [test-hidden]
290         path = $fromdir
291         list = no
292 EOF
293
294     # Build a helper script to ignore exit code 23
295     ignore23="$scratchdir/ignore23"
296     echo "building help script $ignore23"
297
298     cat >"$ignore23" <<'EOT'
299 if "${@}"; then
300     exit
301 fi
302
303 ret=$?
304
305 if test $ret = 23; then
306     exit
307 fi
308
309 exit $ret
310 EOT
311 chmod +x "$ignore23"
312 }
313
314
315 build_symlinks() {
316     mkdir "$fromdir"
317     date >"$fromdir/referent"
318     ln -s referent "$fromdir/relative"
319     ln -s "$fromdir/referent" "$fromdir/absolute"
320     ln -s nonexistent "$fromdir/dangling"
321     ln -s "$srcdir/rsync.c" "$fromdir/unsafe"
322 }
323
324 test_fail() {
325     echo "$@" >&2
326     exit 1
327 }
328
329 test_skipped() {
330     echo "$@" >&2
331     echo "$@" > "$tmpdir/whyskipped"
332     exit 77
333 }
334
335 # It failed, but we expected that.  don't dump out error logs, 
336 # because most users won't want to see them.  But do leave
337 # the working directory around.
338 test_xfail() {
339     echo "$@" >&2
340     exit 78
341 }
342
343 # Determine what shell command will appropriately test for links.
344 ln -s foo "$scratchdir/testlink"
345 for cmd in test /bin/test /usr/bin/test /usr/ucb/bin/test /usr/ucb/test
346 do
347     for switch in -h -L
348     do
349         if $cmd $switch "$scratchdir/testlink" 2>/dev/null
350         then
351             # how nice
352             TEST_SYMLINK_CMD="$cmd $switch"
353             # i wonder if break 2 is portable?
354             break 2
355         fi
356    done
357 done
358 # ok, now get rid of it
359 rm "$scratchdir/testlink"
360
361
362 if [ "x$TEST_SYMLINK_CMD" = 'x' ]
363 then
364     test_fail "Couldn't determine how to test for symlinks"
365 else
366     echo "Testing for symlinks using '$TEST_SYMLINK_CMD'"
367 fi
368         
369
370 # Test whether something is a link, allowing for shell peculiarities
371 is_a_link() {
372     # note the variable contains the first option and therefore is not quoted
373     $TEST_SYMLINK_CMD "$1"
374 }
375
376
377 # We need to set the umask to be reproducible.  Note also that when we
378 # do some daemon tests as root, we will setuid() and therefore the
379 # directory has to be writable by the nobody user in some cases.  The
380 # best thing is probably to explicitly chmod those directories after
381 # creation.
382  
383 umask 022