testsuite/rsync.fns

   1 #! /bin/sh
   2
   3 # Copyright (C) 2001 by Martin Pool <mbp@samba.org>
   4
   5 # General-purpose test functions for rsync.
   6
   7 # This program is free software; you can redistribute it and/or modify
   8 # it under the terms of the GNU General Public License version
   9 # 2 as published by the Free Software Foundation.
  10 #
  11 # This program is distributed in the hope that it will be useful, but
  12 # WITHOUT ANY WARRANTY; without even the implied warranty of
  13 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14 # Lesser General Public License for more details.
  15 #
  16 # You should have received a copy of the GNU Lesser General Public
  17 # License along with this program; if not, write to the Free Software
  18 # Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  19
  20
  21 tmpdir="$scratchdir"
  22 fromdir="$tmpdir/from"
  23 todir="$tmpdir/to"
  24 chkdir="$tmpdir/chk"
  25
  26 # For itemized output:
  27 all_plus='+++++++++'
  28 allspace='         '
  29 dots='.....' # trailing dots after changes
  30
  31 # Berkley's nice.
  32 PATH="$PATH:/usr/ucb"
  33
  34 if diff -u "$srcdir/testsuite/rsync.fns" "$srcdir/testsuite/rsync.fns" >/dev/null 2>&1; then
  35     diffopt="-u"
  36 else
  37     diffopt="-c"
  38 fi
  39
  40 HOME="$scratchdir"
  41 export HOME
  42
  43 runtest() {
  44     echo $ECHO_N "Test $1: $ECHO_C"
  45     if eval "$2"
  46     then
  47         echo "$ECHO_T   done."
  48         return 0
  49     else
  50         echo "$ECHO_T failed!"
  51         return 1
  52     fi
  53 }
  54
  55 set_cp_destdir() {
  56     while test $# -gt 1; do
  57         shift
  58     done
  59     destdir="$1"
  60 }
  61
  62 # Perform a "cp -p", making sure that timestamps are really the same,
  63 # even if the copy rounded microsecond times on the destination file.
  64 cp_touch() {
  65     cp -p "${@}" || test_fail "cp -p failed"
  66     if test $# -gt 2 -o -d "$2"; then
  67         set_cp_destdir "${@}" # sets destdir var
  68         while test $# -gt 1; do
  69             destname="$destdir/`basename $1`"
  70             touch -r "$destname" "$1" "$destname"
  71             shift
  72         done
  73     else
  74         touch -r "$2" "$1" "$2"
  75     fi
  76 }
  77
  78 # Call this if you want to filter out verbose messages (-v or -vv) from
  79 # the output of an rsync run (whittling the output down to just the file
  80 # messages).  This isn't needed if you use -i without -v.
  81 filter_outfile() {
  82     sed -e '/^building file list /d' \
  83         -e '/^sending incremental file list/d' \
  84         -e '/^created directory /d' \
  85         -e '/^done$/d' \
  86         -e '/ --whole-file$/d' \
  87         -e '/^total: /d' \
  88         -e '/^client charset: /d' \
  89         -e '/^server charset: /d' \
  90         -e '/^$/,$d' \
  91         <"$outfile" >"$outfile.new"
  92     mv "$outfile.new" "$outfile"
  93 }
  94
  95 printmsg() {
  96     echo "$1"
  97 }
  98
  99 rsync_ls_lR() {
 100     find "$@" -print | sort | sed 's/ /\\ /g' | xargs "$TOOLDIR/tls" $TLS_ARGS
 101 }
 102
 103 check_perms() {
 104     perms=`"$TOOLDIR/tls" "$1" | sed 's/^[-d]\(.........\).*/\1/'`
 105     if test $perms = $2; then
 106         return 0
 107     fi
 108     echo "permissions: $perms on $1"
 109     echo "should be:   $2"
 110     test_fail "failed test $3"
 111 }
 112
 113 rsync_getgroups() {
 114     "$TOOLDIR/getgroups"
 115 }
 116
 117
 118 ####################
 119 # Build test directories $todir and $fromdir, with $fromdir full of files.
 120
 121 hands_setup() {
 122     # Clean before creation
 123     rm -rf "$fromdir"
 124     rm -rf "$todir"
 125
 126     [ -d "$tmpdir" ] || mkdir "$tmpdir"
 127     [ -d "$fromdir" ] || mkdir "$fromdir"
 128     [ -d "$todir" ] || mkdir "$todir"
 129
 130     # On some BSD systems, the umask affects the mode of created
 131     # symlinks, even though the mode apparently has no effect on how
 132     # the links behave in the future, and it cannot be changed using
 133     # chmod!  rsync always sets its umask to 000 so that it can
 134     # accurately recreate permissions, but this script is probably run
 135     # with a different umask.
 136
 137     # This causes a little problem that "ls -l" of the two will not be
 138     # the same.  So, we need to set our umask before doing any creations.
 139
 140     # set up test data
 141     touch "$fromdir/empty"
 142     mkdir "$fromdir/emptydir"
 143
 144     # a hundred lines of text or so
 145     rsync_ls_lR "$srcdir" > "$fromdir/filelist"
 146
 147     echo $ECHO_N "This file has no trailing lf$ECHO_C" > "$fromdir/nolf"
 148     umask 0
 149     ln -s nolf "$fromdir/nolf-symlink"
 150     umask 022
 151
 152     cat "$srcdir"/*.c > "$fromdir/text"
 153     mkdir "$fromdir/dir"
 154     cp "$fromdir/text" "$fromdir/dir"
 155     mkdir "$fromdir/dir/subdir"
 156     echo some data > "$fromdir/dir/subdir/foobar.baz"
 157     mkdir "$fromdir/dir/subdir/subsubdir"
 158     if [ -r /etc ]; then
 159         ls -ltr /etc > "$fromdir/dir/subdir/subsubdir/etc-ltr-list"
 160     else
 161         ls -ltr / > "$fromdir/dir/subdir/subsubdir/etc-ltr-list"
 162     fi
 163     mkdir "$fromdir/dir/subdir/subsubdir2"
 164     if [ -r /bin ]; then
 165         ls -lt /bin > "$fromdir/dir/subdir/subsubdir2/bin-lt-list"
 166     else
 167         ls -lt / > "$fromdir/dir/subdir/subsubdir2/bin-lt-list"
 168     fi
 169
 170 #      echo testing head:
 171 #      ls -lR "$srcdir" | head -10 || echo failed
 172 }
 173
 174
 175 ####################
 176 # Many machines do not have "mkdir -p", so we have to build up long paths.
 177 # How boring.
 178 makepath() {
 179     for p in "${@}"; do
 180         (echo "        makepath $p"
 181
 182         # Absolut Unix.
 183         if echo $p | grep '^/' >/dev/null
 184         then
 185             cd /
 186         fi
 187
 188         # This will break if $p contains a space.
 189         for c in `echo $p | tr '/' ' '`
 190         do
 191             if [ -d "$c" ] || mkdir "$c"
 192             then
 193                 cd "$c" || return $?
 194             else
 195                 echo "failed to create $c" >&2; return $?
 196             fi
 197         done)
 198     done
 199 }
 200
 201
 202
 203 ###########################
 204 # Run a test (in '$1') then compare directories $2 and $3 to see if
 205 # there are any difference.  If there are, explain them.
 206
 207 # So normally basically $1 should be an rsync command, and $2 and $3
 208 # the source and destination directories.  This is only good when you
 209 # expect to transfer the whole directory exactly as is.  If some files
 210 # should be excluded, you might need to use something else.
 211
 212 checkit() {
 213     failed=
 214
 215     # We can just write everything to stdout/stderr, because the
 216     # wrapper hides it unless there is a problem.
 217
 218     echo "Running: \"$1\""
 219     eval "$1"
 220     status=$?
 221     if [ $status != 0 ]; then
 222         failed="YES";
 223     fi
 224
 225     echo "-------------"
 226     echo "check how the directory listings compare with diff:"
 227     echo ""
 228     ( cd "$2" && rsync_ls_lR . ) > "$tmpdir/ls-from"
 229     ( cd "$3" && rsync_ls_lR . ) > "$tmpdir/ls-to"
 230     diff $diffopt "$tmpdir/ls-from" "$tmpdir/ls-to" || failed=YES
 231
 232     echo "-------------"
 233     echo "check how the files compare with diff:"
 234     echo ""
 235     if [ "x$4" != x ]; then
 236         echo "  === Skipping (as directed) ==="
 237     else
 238         diff -r $diffopt "$2" "$3" || failed=YES
 239     fi
 240
 241     echo "-------------"
 242     if [ -z "$failed" ] ; then
 243         return 0
 244     else
 245         return 1
 246     fi
 247 }
 248
 249
 250 build_rsyncd_conf() {
 251     # Build an appropriate configuration file
 252     conf="$scratchdir/test-rsyncd.conf"
 253     echo "building configuration $conf"
 254
 255     port=2612
 256     pidfile="$scratchdir/rsyncd.pid"
 257     logfile="$scratchdir/rsyncd.log"
 258     hostname=`uname -n`
 259
 260     cat >"$conf" <<EOF
 261 # rsyncd configuration file autogenerated by $0
 262
 263 pid file = $pidfile
 264 use chroot = no
 265 munge symlinks = no
 266 hosts allow = localhost 127.0.0.0/24 192.168.0.0/16 10.0.0.0/8 $hostname
 267 log file = $logfile
 268 log format = %i %h [%a] %m (%u) %l %f%L
 269 transfer logging = yes
 270 exclude = ? foobar.baz
 271 max verbosity = 4
 272 #uid = 0
 273 #gid = 0
 274
 275 [test-from]
 276         path = $fromdir
 277         read only = yes
 278         comment = r/o
 279
 280 [test-to]
 281         path = $todir
 282         read only = no
 283         comment = r/w
 284
 285 [test-scratch]
 286         path = $scratchdir
 287         read only = no
 288
 289 [test-hidden]
 290         path = $fromdir
 291         list = no
 292 EOF
 293
 294     # Build a helper script to ignore exit code 23
 295     ignore23="$scratchdir/ignore23"
 296     echo "building help script $ignore23"
 297
 298     cat >"$ignore23" <<'EOT'
 299 if "${@}"; then
 300     exit
 301 fi
 302
 303 ret=$?
 304
 305 if test $ret = 23; then
 306     exit
 307 fi
 308
 309 exit $ret
 310 EOT
 311 chmod +x "$ignore23"
 312 }
 313
 314
 315 build_symlinks() {
 316     mkdir "$fromdir"
 317     date >"$fromdir/referent"
 318     ln -s referent "$fromdir/relative"
 319     ln -s "$fromdir/referent" "$fromdir/absolute"
 320     ln -s nonexistent "$fromdir/dangling"
 321     ln -s "$srcdir/rsync.c" "$fromdir/unsafe"
 322 }
 323
 324 test_fail() {
 325     echo "$@" >&2
 326     exit 1
 327 }
 328
 329 test_skipped() {
 330     echo "$@" >&2
 331     echo "$@" > "$tmpdir/whyskipped"
 332     exit 77
 333 }
 334
 335 # It failed, but we expected that.  don't dump out error logs,
 336 # because most users won't want to see them.  But do leave
 337 # the working directory around.
 338 test_xfail() {
 339     echo "$@" >&2
 340     exit 78
 341 }
 342
 343 # Determine what shell command will appropriately test for links.
 344 ln -s foo "$scratchdir/testlink"
 345 for cmd in test /bin/test /usr/bin/test /usr/ucb/bin/test /usr/ucb/test
 346 do
 347     for switch in -h -L
 348     do
 349         if $cmd $switch "$scratchdir/testlink" 2>/dev/null
 350         then
 351             # how nice
 352             TEST_SYMLINK_CMD="$cmd $switch"
 353             # i wonder if break 2 is portable?
 354             break 2
 355         fi
 356    done
 357 done
 358 # ok, now get rid of it
 359 rm "$scratchdir/testlink"
 360
 361
 362 if [ "x$TEST_SYMLINK_CMD" = 'x' ]
 363 then
 364     test_fail "Couldn't determine how to test for symlinks"
 365 else
 366     echo "Testing for symlinks using '$TEST_SYMLINK_CMD'"
 367 fi
 368
 369
 370 # Test whether something is a link, allowing for shell peculiarities
 371 is_a_link() {
 372     # note the variable contains the first option and therefore is not quoted
 373     $TEST_SYMLINK_CMD "$1"
 374 }
 375
 376
 377 # We need to set the umask to be reproducible.  Note also that when we
 378 # do some daemon tests as root, we will setuid() and therefore the
 379 # directory has to be writable by the nobody user in some cases.  The
 380 # best thing is probably to explicitly chmod those directories after
 381 # creation.
 382
 383 umask 022