testsuite/rsync.fns

   1 #! /bin/sh
   2
   3 # Copyright (C) 2001 by Martin Pool <mbp@samba.org>
   4
   5 # General-purpose test functions for rsync.
   6
   7 # This program is free software; you can redistribute it and/or modify
   8 # it under the terms of the GNU General Public License version
   9 # 2 as published by the Free Software Foundation.
  10 #
  11 # This program is distributed in the hope that it will be useful, but
  12 # WITHOUT ANY WARRANTY; without even the implied warranty of
  13 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14 # Lesser General Public License for more details.
  15 #
  16 # You should have received a copy of the GNU Lesser General Public
  17 # License along with this program; if not, write to the Free Software
  18 # Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  19
  20
  21 tmpdir="$scratchdir"
  22 fromdir="$tmpdir/from"
  23 todir="$tmpdir/to"
  24 chkdir="$tmpdir/chk"
  25
  26 # For itemized output:
  27 all_plus='+++++++++'
  28 allspace='         '
  29 dots='.....' # trailing dots after changes
  30
  31 # Berkley's nice.
  32 PATH="$PATH:/usr/ucb"
  33
  34 if diff -u "$srcdir/testsuite/rsync.fns" "$srcdir/testsuite/rsync.fns" >/dev/null 2>&1; then
  35     diffopt="-u"
  36 else
  37     diffopt="-c"
  38 fi
  39
  40 HOME="$scratchdir"
  41 export HOME
  42
  43 runtest() {
  44     echo $ECHO_N "Test $1: $ECHO_C"
  45     if eval "$2"
  46     then
  47         echo "$ECHO_T   done."
  48         return 0
  49     else
  50         echo "$ECHO_T failed!"
  51         return 1
  52     fi
  53 }
  54
  55 # Call this if you want to filter out verbose messages (-v or -vv) from
  56 # the output of an rsync run (whittling the output down to just the file
  57 # messages).  This isn't needed if you use -i without -v.
  58 filter_outfile() {
  59     sed -e '/^building file list /d' \
  60         -e '/^sending incremental file list/d' \
  61         -e '/^created directory /d' \
  62         -e '/^done$/d' \
  63         -e '/ --whole-file$/d' \
  64         -e '/^total: /d' \
  65         -e '/^client charset: /d' \
  66         -e '/^server charset: /d' \
  67         -e '/^$/,$d' \
  68         <"$outfile" >"$outfile.new"
  69     mv "$outfile.new" "$outfile"
  70 }
  71
  72 printmsg() {
  73     echo "$1"
  74 }
  75
  76 rsync_ls_lR() {
  77     find "$@" -print | sort | sed 's/ /\\ /g' | xargs "$TOOLDIR/tls" $TLS_ARGS
  78 }
  79
  80 check_perms() {
  81     perms=`"$TOOLDIR/tls" "$1" | sed 's/^[-dlp]\(.........\).*/\1/'`
  82     if test $perms = $2; then
  83         return 0
  84     fi
  85     echo "permissions: $perms on $1"
  86     echo "should be:   $2"
  87     test_fail "failed test $3"
  88 }
  89
  90 rsync_getgroups() {
  91     "$TOOLDIR/getgroups"
  92 }
  93
  94 confile=`echo "$scratchdir" | sed 's;/testtmp/[^/]*$;/config.h;'`
  95 config_test() {
  96     egrep "^#define $1 1" "$confile" >/dev/null
  97 }
  98
  99 ####################
 100 # Build test directories $todir and $fromdir, with $fromdir full of files.
 101
 102 hands_setup() {
 103     # Clean before creation
 104     rm -rf "$fromdir"
 105     rm -rf "$todir"
 106
 107     [ -d "$tmpdir" ] || mkdir "$tmpdir"
 108     [ -d "$fromdir" ] || mkdir "$fromdir"
 109     [ -d "$todir" ] || mkdir "$todir"
 110
 111     # On some BSD systems, the umask affects the mode of created
 112     # symlinks, even though the mode apparently has no effect on how
 113     # the links behave in the future, and it cannot be changed using
 114     # chmod!  rsync always sets its umask to 000 so that it can
 115     # accurately recreate permissions, but this script is probably run
 116     # with a different umask.
 117
 118     # This causes a little problem that "ls -l" of the two will not be
 119     # the same.  So, we need to set our umask before doing any creations.
 120
 121     # set up test data
 122     touch "$fromdir/empty"
 123     mkdir "$fromdir/emptydir"
 124
 125     # a hundred lines of text or so
 126     rsync_ls_lR "$srcdir" > "$fromdir/filelist"
 127
 128     echo $ECHO_N "This file has no trailing lf$ECHO_C" > "$fromdir/nolf"
 129     umask 0
 130     ln -s nolf "$fromdir/nolf-symlink"
 131     umask 022
 132
 133     cat "$srcdir"/*.c > "$fromdir/text"
 134     mkdir "$fromdir/dir"
 135     cp "$fromdir/text" "$fromdir/dir"
 136     mkdir "$fromdir/dir/subdir"
 137     echo some data > "$fromdir/dir/subdir/foobar.baz"
 138     mkdir "$fromdir/dir/subdir/subsubdir"
 139     if [ -r /etc ]; then
 140         ls -ltr /etc > "$fromdir/dir/subdir/subsubdir/etc-ltr-list"
 141     else
 142         ls -ltr / > "$fromdir/dir/subdir/subsubdir/etc-ltr-list"
 143     fi
 144     mkdir "$fromdir/dir/subdir/subsubdir2"
 145     if [ -r /bin ]; then
 146         ls -lt /bin > "$fromdir/dir/subdir/subsubdir2/bin-lt-list"
 147     else
 148         ls -lt / > "$fromdir/dir/subdir/subsubdir2/bin-lt-list"
 149     fi
 150
 151 #      echo testing head:
 152 #      ls -lR "$srcdir" | head -10 || echo failed
 153 }
 154
 155
 156 ####################
 157 # Many machines do not have "mkdir -p", so we have to build up long paths.
 158 # How boring.
 159 makepath() {
 160     for p in "${@}"; do
 161         (echo "        makepath $p"
 162
 163         # Absolut Unix.
 164         if echo $p | grep '^/' >/dev/null
 165         then
 166             cd /
 167         fi
 168
 169         # This will break if $p contains a space.
 170         for c in `echo $p | tr '/' ' '`
 171         do
 172             if [ -d "$c" ] || mkdir "$c"
 173             then
 174                 cd "$c" || return $?
 175             else
 176                 echo "failed to create $c" >&2; return $?
 177             fi
 178         done)
 179     done
 180 }
 181
 182
 183
 184 ###########################
 185 # Run a test (in '$1') then compare directories $2 and $3 to see if
 186 # there are any difference.  If there are, explain them.
 187
 188 # So normally basically $1 should be an rsync command, and $2 and $3
 189 # the source and destination directories.  This is only good when you
 190 # expect to transfer the whole directory exactly as is.  If some files
 191 # should be excluded, you might need to use something else.
 192
 193 checkit() {
 194     failed=
 195
 196     # We can just write everything to stdout/stderr, because the
 197     # wrapper hides it unless there is a problem.
 198
 199     echo "Running: \"$1\""
 200     eval "$1"
 201     status=$?
 202     if [ $status != 0 ]; then
 203         failed="YES";
 204     fi
 205
 206     echo "-------------"
 207     echo "check how the directory listings compare with diff:"
 208     echo ""
 209     ( cd "$2" && rsync_ls_lR . ) > "$tmpdir/ls-from"
 210     ( cd "$3" && rsync_ls_lR . ) > "$tmpdir/ls-to"
 211     diff $diffopt "$tmpdir/ls-from" "$tmpdir/ls-to" || failed=YES
 212
 213     echo "-------------"
 214     echo "check how the files compare with diff:"
 215     echo ""
 216     if [ "x$4" != x ]; then
 217         echo "  === Skipping (as directed) ==="
 218     else
 219         diff -r $diffopt "$2" "$3" || failed=YES
 220     fi
 221
 222     echo "-------------"
 223     if [ -z "$failed" ] ; then
 224         return 0
 225     else
 226         return 1
 227     fi
 228 }
 229
 230
 231 build_rsyncd_conf() {
 232     # Build an appropriate configuration file
 233     conf="$scratchdir/test-rsyncd.conf"
 234     echo "building configuration $conf"
 235
 236     port=2612
 237     pidfile="$scratchdir/rsyncd.pid"
 238     logfile="$scratchdir/rsyncd.log"
 239     hostname=`uname -n`
 240
 241     cat >"$conf" <<EOF
 242 # rsyncd configuration file autogenerated by $0
 243
 244 pid file = $pidfile
 245 use chroot = no
 246 munge symlinks = no
 247 hosts allow = localhost 127.0.0.0/24 192.168.0.0/16 10.0.0.0/8 $hostname
 248 log file = $logfile
 249 log format = %i %h [%a] %m (%u) %l %f%L
 250 transfer logging = yes
 251 exclude = foobar.baz
 252 max verbosity = 9
 253 uid = 0
 254 gid = 0
 255
 256 [test-from]
 257         path = $fromdir
 258         read only = yes
 259
 260 [test-to]
 261         path = $todir
 262         read only = no
 263
 264 [test-scratch]
 265         path = $scratchdir
 266         read only = no
 267 EOF
 268
 269     # Build a helper script to ignore exit code 23
 270     ignore23="$scratchdir/ignore23"
 271     echo "building help script $ignore23"
 272
 273     cat >"$ignore23" <<'EOT'
 274 if "${@}"; then
 275     exit
 276 fi
 277
 278 ret=$?
 279
 280 if test $ret = 23; then
 281     exit
 282 fi
 283
 284 exit $ret
 285 EOT
 286 chmod +x "$ignore23"
 287 }
 288
 289
 290 build_symlinks() {
 291     mkdir "$fromdir"
 292     date >"$fromdir/referent"
 293     ln -s referent "$fromdir/relative"
 294     ln -s "$fromdir/referent" "$fromdir/absolute"
 295     ln -s nonexistent "$fromdir/dangling"
 296     ln -s "$srcdir/rsync.c" "$fromdir/unsafe"
 297 }
 298
 299 test_fail() {
 300     echo "$@" >&2
 301     exit 1
 302 }
 303
 304 test_skipped() {
 305     echo "$@" >&2
 306     echo "$@" > "$tmpdir/whyskipped"
 307     exit 77
 308 }
 309
 310 # It failed, but we expected that.  don't dump out error logs,
 311 # because most users won't want to see them.  But do leave
 312 # the working directory around.
 313 test_xfail() {
 314     echo "$@" >&2
 315     exit 78
 316 }
 317
 318 # Determine what shell command will appropriately test for links.
 319 ln -s foo "$scratchdir/testlink"
 320 for cmd in test /bin/test /usr/bin/test /usr/ucb/bin/test /usr/ucb/test
 321 do
 322     for switch in -h -L
 323     do
 324         if $cmd $switch "$scratchdir/testlink" 2>/dev/null
 325         then
 326             # how nice
 327             TEST_SYMLINK_CMD="$cmd $switch"
 328             # i wonder if break 2 is portable?
 329             break 2
 330         fi
 331    done
 332 done
 333 # ok, now get rid of it
 334 rm "$scratchdir/testlink"
 335
 336
 337 if [ "x$TEST_SYMLINK_CMD" = 'x' ]
 338 then
 339     test_fail "Couldn't determine how to test for symlinks"
 340 else
 341     echo "Testing for symlinks using '$TEST_SYMLINK_CMD'"
 342 fi
 343
 344
 345 # Test whether something is a link, allowing for shell peculiarities
 346 is_a_link() {
 347     # note the variable contains the first option and therefore is not quoted
 348     $TEST_SYMLINK_CMD "$1"
 349 }
 350
 351
 352 # We need to set the umask to be reproducible.  Note also that when we
 353 # do some daemon tests as root, we will setuid() and therefore the
 354 # directory has to be writable by the nobody user in some cases.  The
 355 # best thing is probably to explicitly chmod those directories after
 356 # creation.
 357
 358 umask 022