testsuite/rsync.fns

   1 #! /bin/sh
   2
   3 # Copyright (C) 2001 by Martin Pool <mbp@samba.org>
   4
   5 # General-purpose test functions for rsync.
   6
   7 # This program is free software; you can redistribute it and/or modify
   8 # it under the terms of the GNU General Public License version
   9 # 2 as published by the Free Software Foundation.
  10 #
  11 # This program is distributed in the hope that it will be useful, but
  12 # WITHOUT ANY WARRANTY; without even the implied warranty of
  13 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14 # Lesser General Public License for more details.
  15 #
  16 # You should have received a copy of the GNU Lesser General Public
  17 # License along with this program; if not, write to the Free Software
  18 # Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  19
  20 tmpdir="$scratchdir"
  21 fromdir="$tmpdir/from"
  22 todir="$tmpdir/to"
  23 chkdir="$tmpdir/chk"
  24
  25 # For itemized output:
  26 all_plus='+++++++++'
  27 allspace='         '
  28 dots='.....' # trailing dots after changes
  29
  30 # Berkley's nice.
  31 PATH="$PATH:/usr/ucb"
  32
  33 if diff -u "$suitedir/rsync.fns" "$suitedir/rsync.fns" >/dev/null 2>&1; then
  34     diffopt="-u"
  35 else
  36     diffopt="-c"
  37 fi
  38
  39 HOME="$scratchdir"
  40 export HOME
  41
  42 runtest() {
  43     echo $ECHO_N "Test $1: $ECHO_C"
  44     if eval "$2"
  45     then
  46         echo "$ECHO_T   done."
  47         return 0
  48     else
  49         echo "$ECHO_T failed!"
  50         return 1
  51     fi
  52 }
  53
  54 set_cp_destdir() {
  55     while test $# -gt 1; do
  56         shift
  57     done
  58     destdir="$1"
  59 }
  60
  61 # Perform a "cp -p", making sure that timestamps are really the same,
  62 # even if the copy rounded microsecond times on the destination file.
  63 cp_touch() {
  64     cp -p "${@}" || test_fail "cp -p failed"
  65     if test $# -gt 2 -o -d "$2"; then
  66         set_cp_destdir "${@}" # sets destdir var
  67         while test $# -gt 1; do
  68             destname="$destdir/`basename $1`"
  69             touch -r "$destname" "$1" "$destname"
  70             shift
  71         done
  72     else
  73         touch -r "$2" "$1" "$2"
  74     fi
  75 }
  76
  77 # Call this if you want to filter out verbose messages (-v or -vv) from
  78 # the output of an rsync run (whittling the output down to just the file
  79 # messages).  This isn't needed if you use -i without -v.
  80 filter_outfile() {
  81     sed -e '/^building file list /d' \
  82         -e '/^sending incremental file list/d' \
  83         -e '/^created directory /d' \
  84         -e '/^done$/d' \
  85         -e '/ --whole-file$/d' \
  86         -e '/^total: /d' \
  87         -e '/^client charset: /d' \
  88         -e '/^server charset: /d' \
  89         -e '/^$/,$d' \
  90         <"$outfile" >"$outfile.new"
  91     mv "$outfile.new" "$outfile"
  92 }
  93
  94 printmsg() {
  95     echo "$1"
  96 }
  97
  98 rsync_ls_lR() {
  99     find "$@" -print | sort | sed 's/ /\\ /g' | xargs "$TOOLDIR/tls" $TLS_ARGS
 100 }
 101
 102 get_testuid() {
 103     id 2>/dev/null | sed 's/^[^0-9]*\([0-9][0-9]*\).*/\1/'
 104 }
 105
 106 check_perms() {
 107     perms=`"$TOOLDIR/tls" "$1" | sed 's/^[-d]\(.........\).*/\1/'`
 108     if test $perms = $2; then
 109         return 0
 110     fi
 111     echo "permissions: $perms on $1"
 112     echo "should be:   $2"
 113     test_fail "failed test $3"
 114 }
 115
 116 rsync_getgroups() {
 117     "$TOOLDIR/getgroups"
 118 }
 119
 120
 121 ####################
 122 # Build test directories $todir and $fromdir, with $fromdir full of files.
 123
 124 hands_setup() {
 125     # Clean before creation
 126     rm -rf "$fromdir"
 127     rm -rf "$todir"
 128
 129     [ -d "$tmpdir" ] || mkdir "$tmpdir"
 130     [ -d "$fromdir" ] || mkdir "$fromdir"
 131     [ -d "$todir" ] || mkdir "$todir"
 132
 133     # On some BSD systems, the umask affects the mode of created
 134     # symlinks, even though the mode apparently has no effect on how
 135     # the links behave in the future, and it cannot be changed using
 136     # chmod!  rsync always sets its umask to 000 so that it can
 137     # accurately recreate permissions, but this script is probably run
 138     # with a different umask.
 139
 140     # This causes a little problem that "ls -l" of the two will not be
 141     # the same.  So, we need to set our umask before doing any creations.
 142
 143     # set up test data
 144     touch "$fromdir/empty"
 145     mkdir "$fromdir/emptydir"
 146
 147     # a hundred lines of text or so
 148     rsync_ls_lR "$srcdir" > "$fromdir/filelist"
 149
 150     echo $ECHO_N "This file has no trailing lf$ECHO_C" > "$fromdir/nolf"
 151     umask 0
 152     ln -s nolf "$fromdir/nolf-symlink"
 153     umask 022
 154
 155     cat "$srcdir"/*.c > "$fromdir/text"
 156     mkdir "$fromdir/dir"
 157     cp "$fromdir/text" "$fromdir/dir"
 158     mkdir "$fromdir/dir/subdir"
 159     echo some data > "$fromdir/dir/subdir/foobar.baz"
 160     mkdir "$fromdir/dir/subdir/subsubdir"
 161     if [ -r /etc ]; then
 162         ls -ltr /etc > "$fromdir/dir/subdir/subsubdir/etc-ltr-list"
 163     else
 164         ls -ltr / > "$fromdir/dir/subdir/subsubdir/etc-ltr-list"
 165     fi
 166     mkdir "$fromdir/dir/subdir/subsubdir2"
 167     if [ -r /bin ]; then
 168         ls -lt /bin > "$fromdir/dir/subdir/subsubdir2/bin-lt-list"
 169     else
 170         ls -lt / > "$fromdir/dir/subdir/subsubdir2/bin-lt-list"
 171     fi
 172
 173 #      echo testing head:
 174 #      ls -lR "$srcdir" | head -10 || echo failed
 175 }
 176
 177
 178 ####################
 179 # Many machines do not have "mkdir -p", so we have to build up long paths.
 180 # How boring.
 181 makepath() {
 182     for p in "${@}"; do
 183         (echo "        makepath $p"
 184
 185         # Absolut Unix.
 186         if echo $p | grep '^/' >/dev/null
 187         then
 188             cd /
 189         fi
 190
 191         # This will break if $p contains a space.
 192         for c in `echo $p | tr '/' ' '`
 193         do
 194             if [ -d "$c" ] || mkdir "$c"
 195             then
 196                 cd "$c" || return $?
 197             else
 198                 echo "failed to create $c" >&2; return $?
 199             fi
 200         done)
 201     done
 202 }
 203
 204
 205
 206 ###########################
 207 # Run a test (in '$1') then compare directories $2 and $3 to see if
 208 # there are any difference.  If there are, explain them.
 209
 210 # So normally basically $1 should be an rsync command, and $2 and $3
 211 # the source and destination directories.  This is only good when you
 212 # expect to transfer the whole directory exactly as is.  If some files
 213 # should be excluded, you might need to use something else.
 214
 215 checkit() {
 216     failed=
 217
 218     # We can just write everything to stdout/stderr, because the
 219     # wrapper hides it unless there is a problem.
 220
 221     echo "Running: \"$1\""
 222     eval "$1"
 223     status=$?
 224     if [ $status != 0 ]; then
 225         failed="YES";
 226     fi
 227
 228     echo "-------------"
 229     echo "check how the directory listings compare with diff:"
 230     echo ""
 231     ( cd "$2" && rsync_ls_lR . ) > "$tmpdir/ls-from"
 232     ( cd "$3" && rsync_ls_lR . ) > "$tmpdir/ls-to"
 233     diff $diffopt "$tmpdir/ls-from" "$tmpdir/ls-to" || failed=YES
 234
 235     echo "-------------"
 236     echo "check how the files compare with diff:"
 237     echo ""
 238     if [ "x$4" != x ]; then
 239         echo "  === Skipping (as directed) ==="
 240     else
 241         diff -r $diffopt "$2" "$3" || failed=YES
 242     fi
 243
 244     echo "-------------"
 245     if [ -z "$failed" ] ; then
 246         return 0
 247     else
 248         return 1
 249     fi
 250 }
 251
 252
 253 build_rsyncd_conf() {
 254     # Build an appropriate configuration file
 255     conf="$scratchdir/test-rsyncd.conf"
 256     echo "building configuration $conf"
 257
 258     port=2612
 259     pidfile="$scratchdir/rsyncd.pid"
 260     logfile="$scratchdir/rsyncd.log"
 261     hostname=`uname -n`
 262
 263     uid_setting='uid = 0'
 264     gid_setting='gid = 0'
 265     case `get_testuid` in
 266     0) ;;
 267     *)
 268         # Non-root cannot specify uid & gid settings
 269         uid_setting="#$uid_setting"
 270         gid_setting="#$gid_setting"
 271         ;;
 272     esac
 273
 274     cat >"$conf" <<EOF
 275 # rsyncd configuration file autogenerated by $0
 276
 277 pid file = $pidfile
 278 use chroot = no
 279 munge symlinks = no
 280 hosts allow = localhost 127.0.0.0/24 192.168.0.0/16 10.0.0.0/8 $hostname
 281 log file = $logfile
 282 log format = %i %h [%a] %m (%u) %l %f%L
 283 transfer logging = yes
 284 exclude = ? foobar.baz
 285 max verbosity = 4
 286 $uid_setting
 287 $gid_setting
 288
 289 [test-from]
 290         path = $fromdir
 291         read only = yes
 292         comment = r/o
 293
 294 [test-to]
 295         path = $todir
 296         read only = no
 297         comment = r/w
 298
 299 [test-scratch]
 300         path = $scratchdir
 301         read only = no
 302
 303 [test-hidden]
 304         path = $fromdir
 305         list = no
 306 EOF
 307
 308     # Build a helper script to ignore exit code 23
 309     ignore23="$scratchdir/ignore23"
 310     echo "building help script $ignore23"
 311
 312     cat >"$ignore23" <<'EOT'
 313 if "${@}"; then
 314     exit
 315 fi
 316
 317 ret=$?
 318
 319 if test $ret = 23; then
 320     exit
 321 fi
 322
 323 exit $ret
 324 EOT
 325 chmod +x "$ignore23"
 326 }
 327
 328
 329 build_symlinks() {
 330     mkdir "$fromdir"
 331     date >"$fromdir/referent"
 332     ln -s referent "$fromdir/relative"
 333     ln -s "$fromdir/referent" "$fromdir/absolute"
 334     ln -s nonexistent "$fromdir/dangling"
 335     ln -s "$srcdir/rsync.c" "$fromdir/unsafe"
 336 }
 337
 338 test_fail() {
 339     echo "$@" >&2
 340     exit 1
 341 }
 342
 343 test_skipped() {
 344     echo "$@" >&2
 345     echo "$@" > "$tmpdir/whyskipped"
 346     exit 77
 347 }
 348
 349 # It failed, but we expected that.  don't dump out error logs,
 350 # because most users won't want to see them.  But do leave
 351 # the working directory around.
 352 test_xfail() {
 353     echo "$@" >&2
 354     exit 78
 355 }
 356
 357 # Determine what shell command will appropriately test for links.
 358 ln -s foo "$scratchdir/testlink"
 359 for cmd in test /bin/test /usr/bin/test /usr/ucb/bin/test /usr/ucb/test
 360 do
 361     for switch in -h -L
 362     do
 363         if $cmd $switch "$scratchdir/testlink" 2>/dev/null
 364         then
 365             # how nice
 366             TEST_SYMLINK_CMD="$cmd $switch"
 367             # i wonder if break 2 is portable?
 368             break 2
 369         fi
 370    done
 371 done
 372 # ok, now get rid of it
 373 rm "$scratchdir/testlink"
 374
 375
 376 if [ "x$TEST_SYMLINK_CMD" = 'x' ]
 377 then
 378     test_fail "Couldn't determine how to test for symlinks"
 379 else
 380     echo "Testing for symlinks using '$TEST_SYMLINK_CMD'"
 381 fi
 382
 383
 384 # Test whether something is a link, allowing for shell peculiarities
 385 is_a_link() {
 386     # note the variable contains the first option and therefore is not quoted
 387     $TEST_SYMLINK_CMD "$1"
 388 }
 389
 390
 391 # We need to set the umask to be reproducible.  Note also that when we
 392 # do some daemon tests as root, we will setuid() and therefore the
 393 # directory has to be writable by the nobody user in some cases.  The
 394 # best thing is probably to explicitly chmod those directories after
 395 # creation.
 396
 397 umask 022