TODO

   1 -*- indented-text -*-
   2
   3 URGENT ---------------------------------------------------------------
   4
   5
   6 IMPORTANT ------------------------------------------------------------
   7
   8 Cross-test versions
   9
  10   Part of the regression suite should be making sure that we don't
  11   break backwards compatibility: old clients vs new servers and so
  12   on.  Ideally we would test the cross product of versions.
  13
  14   It might be sufficient to test downloads from well-known public
  15   rsync servers running different versions of rsync.  This will give
  16   some testing and also be the most common case for having different
  17   versions and not being able to upgrade.
  18
  19 use chroot
  20
  21   If the platform doesn't support it, then don't even try.
  22
  23   If running as non-root, then don't fail, just give a warning.
  24   (There was a thread about this a while ago?)
  25
  26     http://lists.samba.org/pipermail/rsync/2001-August/thread.html
  27     http://lists.samba.org/pipermail/rsync/2001-September/thread.html
  28
  29 --files-from
  30
  31   Avoids traversal.  Better option than a pile of --include statements
  32   for people who want to generate the file list using a find(1)
  33   command or a script.
  34
  35 Performance
  36
  37   Traverse just one directory at a time.  Tridge says it's possible.
  38
  39   At the moment rsync reads the whole file list into memory at the
  40   start, which makes us use a lot of memory and also not pipeline
  41   network access as much as we could.
  42
  43   We need to be careful of duplicate names getting into the file list.
  44   See clean_flist.  This could happen if multiple arguments include
  45   the same file.  Bad.
  46
  47   I think duplicates are only a problem if they're both flowing
  48   through the pipeline at the same time.  For example we might have
  49   updated the first occurrence after reading the checksums for the
  50   second.  So possibly we just need to make sure that we don't have
  51   both in the pipeline at the same time.
  52
  53   Possibly if we did one directory at a time that would be sufficient.
  54
  55   Alternatively we could pre-process the arguments to make sure no
  56   duplicates will ever be inserted.  There could be some bad cases
  57   when we're collapsing symlinks.
  58
  59   We could have a hash table.
  60
  61 Memory accounting
  62
  63   At exit, show how much memory was used for the file list, etc.
  64
  65   Also we do a wierd exponential-growth allocation in flist.c.  I'm
  66   not sure this makes sense with modern mallocs.  At any rate it will
  67   make us allocate a huge amount of memory for large file lists.
  68
  69 Hard-link handling
  70
  71   At the moment hardlink handling is very expensive, so it's off by
  72   default.  It does not need to be so.
  73
  74   We can rule out hardlinked directories since they will probably
  75   screw us up in all kinds of ways.  They simply should not be used.
  76
  77   At the moment rsync only cares about hardlinks to regular files.  I
  78   guess you could also use them for sockets, devices and other beasts,
  79   but I have not seen them.
  80
  81   When trying to reproduce hard links, we only need to worry about
  82   files that have more than one name (nlinks>1 && !S_ISDIR).
  83
  84   The basic point of this is to discover alternate names that refer to
  85   the same file.  All operations, including creating the file and
  86   writing modifications to it need only to be done for the first name.
  87   For all later names, we just create the link and then leave it
  88   alone.
  89
  90   If hard links are to be preserved:
  91
  92     Before the generator/receiver fork, the list of files is received
  93     from the sender (recv_file_list), and a table for detecting hard
  94     links is built.
  95
  96     The generator looks for hard links within the file list and does
  97     not send checksums for them, though it does send other metadata.
  98
  99     The sender sends the device number and inode with file entries, so
 100     that files are uniquely identified.
 101
 102     The receiver goes through and creates hard links (do_hard_links)
 103     after all data has been written, but before directory permissions
 104     are set.
 105
 106   At the moment device and inum are sent as 4-byte integers, which
 107   will probably cause problems on large filesystems.  On Linux the
 108   kernel uses 64-bit ino_t's internally, and people will soon have
 109   filesystems big enough to use them.  We ought to follow NFS4 in
 110   using 64-bit device and inode identification, perhaps with a
 111   protocol version bump.
 112
 113   Once we've seen all the names for a particular file, we no longer
 114   need to think about it and we can deallocate the memory.
 115
 116   We can also have the case where there are links to a file that are
 117   not in the tree being transferred.  There's nothing we can do about
 118   that.  Because we rename the destination into place after writing,
 119   any hardlinks to the old file are always going to be orphaned.  In
 120   fact that is almost necessary because otherwise we'd get really
 121   confused if we were generating checksums for one name of a file and
 122   modifying another.
 123
 124   At the moment the code seems to make a whole second copy of the file
 125   list, which seems unnecessary.
 126
 127   We should have a test case that exercises hard links.  Since it
 128   might be hard to compare ./tls output where the inodes change we
 129   might need a little program to check whether several names refer to
 130   the same file.
 131
 132 IPv6
 133
 134   Implement suggestions from http://www.kame.net/newsletter/19980604/
 135   and ftp://ftp.iij.ad.jp/pub/RFC/rfc2553.txt
 136
 137   If a host has multiple addresses, then listen try to connect to all
 138   in order until we get through.  (getaddrinfo may return multiple
 139   addresses.)  This is kind of implemented already.
 140
 141   Possibly also when starting as a server we may need to listen on
 142   multiple passive addresses.  This might be a bit harder, because we
 143   may need to select on all of them.  Hm.
 144
 145   Define a syntax for IPv6 literal addresses.  Since they include
 146   colons, they tend to break most naming systems, including ours.
 147   Based on the HTTP IPv6 syntax, I think we should use
 148
 149      rsync://[::1]/foo/bar
 150      [::1]::bar
 151
 152   which should just take a small change to the parser code.
 153
 154 Errors
 155
 156   If we hang or get SIGINT, then explain where we were up to.  Perhaps
 157   have a static buffer that contains the current function name, or
 158   some kind of description of what we were trying to do.  This is a
 159   little easier on people than needing to run strace/truss.
 160
 161   "The dungeon collapses!  You are killed."  Rather than "unexpected
 162   eof" give a message that is more detailed if possible and also more
 163   helpful.
 164
 165 File attributes
 166
 167   Device major/minor numbers should be at least 32 bits each.  See
 168   http://lists.samba.org/pipermail/rsync/2001-November/005357.html
 169
 170   Transfer ACLs.  Need to think of a standard representation.
 171   Probably better not to even try to convert between NT and POSIX.
 172   Possibly can share some code with Samba.
 173
 174 Empty directories
 175
 176   With the current common --include '*/' --exclude '*' pattern, people
 177   can end up with many empty directories.  We might avoid this by
 178   lazily creating such directories.
 179
 180 zlib
 181
 182   Perhaps don't use our own zlib.  Will we actually be incompatible,
 183   or just be slightly less efficient?
 184
 185 logging
 186
 187   Perhaps flush stdout after each filename, so that people trying to
 188   monitor progress in a log file can do so more easily.  See
 189   http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=48108
 190
 191 rsyncd over ssh
 192
 193   There are already some patches to do this.
 194
 195 PLATFORMS ------------------------------------------------------------
 196
 197 Win32
 198
 199   Don't detach, because this messes up --srvany.
 200
 201   http://sources.redhat.com/ml/cygwin/2001-08/msg00234.html
 202
 203   According to "Effective TCP/IP Programming" (??) close() on a socket
 204   has incorrect behaviour on Windows -- it sends a RST packet to the
 205   other side, which gives a "connection reset by peer" error.  On that
 206   platform we should probably do shutdown() instead.  However, on Unix
 207   we are correct to call close(), because shutdown() discards
 208   untransmitted data.
 209
 210 DOCUMENTATION --------------------------------------------------------
 211
 212 Update README
 213
 214 BUILD FARM -----------------------------------------------------------
 215
 216 Add machines
 217
 218   AMDAHL UTS (Dave Dykstra)
 219
 220   Cygwin (on different versions of Win32?)
 221
 222   HP-UX variants (via HP?)
 223
 224   SCO
 225
 226 NICE -----------------------------------------------------------------
 227
 228 SIGHUP
 229
 230   Re-read config file (just exec() ourselves) rather than exiting.
 231
 232 --no-detach and --no-fork options
 233
 234   Very useful for debugging.  Also good when running under a
 235   daemon-monitoring process that tries to restart the service when the
 236   parent exits.
 237
 238 hang/timeout friendliness
 239
 240 verbose output
 241
 242   Indicate whether files are new, updated, or deleted
 243
 244 internationalization
 245
 246   Change to using gettext().  Probably need to ship this for platforms
 247   that don't have it.
 248
 249   Solicit translations.
 250
 251   Does anyone care?
 252
 253 rsyncsh
 254
 255    Write a small emulation of interactive ftp as a Pythonn program
 256    that calls rsync.  Commands such as "cd", "ls", "ls *.c" etc map
 257    fairly directly into rsync commands: it just needs to remember the
 258    current host, directory and so on.  We can probably even do
 259    completion of remote filenames.
 260
 261 %K%