TODO

   1 -*- indented-text -*-
   2
   3 FEATURES ------------------------------------------------------------
   4 Use chroot only if supported
   5 Allow supplementary groups in rsyncd.conf                       2002/04/09
   6 Handling IPv6 on old machines
   7 Other IPv6 stuff
   8 Add ACL support                                                 2001/12/02
   9 proxy authentication                                            2002/01/23
  10 SOCKS                                                           2002/01/23
  11 FAT support
  12 --diff                                          david.e.sewell  2002/03/15
  13 Add daemon --no-fork option
  14 Create more granular verbosity                                  2003/05/15
  15
  16 DOCUMENTATION --------------------------------------------------------
  17 Keep list of open issues and todos on the web site
  18 Perhaps redo manual as SGML
  19
  20 LOGGING --------------------------------------------------------------
  21 Memory accounting
  22 Improve error messages
  23 Better statistics                                       Rasmus  2002/03/08
  24 Perhaps flush stdout like syslog
  25 Log child death on signal
  26 verbose output                                  David Stein     2001/12/20
  27 internationalization
  28
  29 DEVELOPMENT --------------------------------------------------------
  30 Handling duplicate names
  31 Use generic zlib                                                2002/02/25
  32 TDB                                                             2002/03/12
  33 Splint                                                          2002/03/12
  34
  35 PERFORMANCE ----------------------------------------------------------
  36 Traverse just one directory at a time
  37 Allow skipping MD4 file_sum                                     2002/04/08
  38 Accelerate MD4
  39
  40 TESTING --------------------------------------------------------------
  41 Torture test
  42 Cross-test versions                                             2001/08/22
  43 Test on kernel source
  44 Test large files
  45 Create mutator program for testing
  46 Create configure option to enable dangerous tests
  47 Create pipe program for testing
  48 Create test makefile target for some tests
  49
  50 RELATED PROJECTS -----------------------------------------------------
  51 rsyncsh
  52 http://rsync.samba.org/rsync-and-debian/
  53 rsyncable gzip patch
  54 rsyncsplit as alternative to real integration with gzip?
  55 reverse rsync over HTTP Range
  56
  57
  58
  59 FEATURES ------------------------------------------------------------
  60
  61
  62 Use chroot only if supported
  63
  64   If the platform doesn't support it, then don't even try.
  65
  66   If running as non-root, then don't fail, just give a warning.
  67   (There was a thread about this a while ago?)
  68
  69     http://lists.samba.org/pipermail/rsync/2001-August/thread.html
  70     http://lists.samba.org/pipermail/rsync/2001-September/thread.html
  71
  72                       --          --
  73
  74
  75 Allow supplementary groups in rsyncd.conf                       2002/04/09
  76
  77   Perhaps allow supplementary groups to be specified in rsyncd.conf;
  78   then make the first one the primary gid and all the rest be
  79   supplementary gids.
  80
  81                       --          --
  82
  83
  84 Handling IPv6 on old machines
  85
  86   The KAME IPv6 patch is nice in theory but has proved a bit of a
  87   nightmare in practice.  The basic idea of their patch is that rsync
  88   is rewritten to use the new getaddrinfo()/getnameinfo() interface,
  89   rather than gethostbyname()/gethostbyaddr() as in rsync 2.4.6.
  90   Systems that don't have the new interface are handled by providing
  91   our own implementation in lib/, which is selectively linked in.
  92
  93   The problem with this is that it is really hard to get right on
  94   platforms that have a half-working implementation, so redefining
  95   these functions clashes with system headers, and leaving them out
  96   breaks.  This affects at least OSF/1, RedHat 5, and Cobalt, which
  97   are moderately improtant.
  98
  99   Perhaps the simplest solution would be to have two different files
 100   implementing the same interface, and choose either the new or the
 101   old API.  This is probably necessary for systems that e.g. have
 102   IPv6, but gethostbyaddr() can't handle it.  The Linux manpage claims
 103   this is currently the case.
 104
 105   In fact, our internal sockets interface (things like
 106   open_socket_out(), etc) is much narrower than the getaddrinfo()
 107   interface, and so probably simpler to get right.  In addition, the
 108   old code is known to work well on old machines.
 109
 110   We could drop the rather large lib/getaddrinfo files.
 111
 112                       --          --
 113
 114
 115 Other IPv6 stuff
 116
 117   Implement suggestions from http://www.kame.net/newsletter/19980604/
 118   and ftp://ftp.iij.ad.jp/pub/RFC/rfc2553.txt
 119
 120   If a host has multiple addresses, then listen try to connect to all
 121   in order until we get through.  (getaddrinfo may return multiple
 122   addresses.)  This is kind of implemented already.
 123
 124   Possibly also when starting as a server we may need to listen on
 125   multiple passive addresses.  This might be a bit harder, because we
 126   may need to select on all of them.  Hm.
 127
 128                       --          --
 129
 130
 131 Add ACL support                                                 2001/12/02
 132
 133   Transfer ACLs.  Need to think of a standard representation.
 134   Probably better not to even try to convert between NT and POSIX.
 135   Possibly can share some code with Samba.
 136   NOTE: there is a patch that implements this in the "patches" subdir.
 137
 138                       --          --
 139
 140
 141 proxy authentication                                            2002/01/23
 142
 143   Allow RSYNC_PROXY to be http://user:pass@proxy.foo:3128/, and do
 144   HTTP Basic Proxy-Authentication.
 145
 146   Multiple schemes are possible, up to and including the insanity that
 147   is NTLM, but Basic probably covers most cases.
 148
 149                       --          --
 150
 151
 152 SOCKS                                                           2002/01/23
 153
 154   Add --with-socks, and then perhaps a command-line option to put them
 155   on or off.  This might be more reliable than LD_PRELOAD hacks.
 156
 157                       --          --
 158
 159
 160 FAT support
 161
 162   rsync to a FAT partition on a Unix machine doesn't work very well at
 163   the moment.  I think we get errors about invalid filenames and
 164   perhaps also trying to do atomic renames.
 165
 166   I guess the code to do this is currently #ifdef'd on Windows;
 167   perhaps we ought to intelligently fall back to it on Unix too.
 168
 169                       --          --
 170
 171
 172 --diff                                          david.e.sewell  2002/03/15
 173
 174   Allow people to specify the diff command.  (Might want to use wdiff,
 175   gnudiff, etc.)
 176
 177   Just diff the temporary file with the destination file, and delete
 178   the tmp file rather than moving it into place.
 179
 180   Interaction with --partial.
 181
 182   Security interactions with daemon mode?
 183
 184                       --          --
 185
 186
 187 Add daemon --no-fork option
 188
 189   Very useful for debugging.  Also good when running under a
 190   daemon-monitoring process that tries to restart the service when the
 191   parent exits.
 192
 193                       --          --
 194
 195
 196 Create more granular verbosity                                  2003/05/15
 197
 198   Control output with the --report option.
 199
 200   The option takes as a single argument (no whitespace) a
 201   comma delimited lists of keywords.
 202
 203   This would separate debugging from "logging" as well as
 204   fine grained selection of statistical reporting and what
 205   actions are logged.
 206
 207   http://lists.samba.org/archive/rsync/2003-May/006059.html
 208
 209                       --          --
 210
 211 DOCUMENTATION --------------------------------------------------------
 212
 213
 214 Keep list of open issues and todos on the web site
 215
 216                       --          --
 217
 218
 219 Perhaps redo manual as SGML
 220
 221   The man page is getting rather large, and there is more information
 222   that ought to be added.
 223
 224   TexInfo source is probably a dying format.
 225
 226   Linuxdoc looks like the most likely contender.  I know DocBook is
 227   favoured by some people, but it's so bloody verbose, even with emacs
 228   support.
 229
 230                       --          --
 231
 232 LOGGING --------------------------------------------------------------
 233
 234
 235 Memory accounting
 236
 237   At exit, show how much memory was used for the file list, etc.
 238
 239   Also we do a wierd exponential-growth allocation in flist.c.  I'm
 240   not sure this makes sense with modern mallocs.  At any rate it will
 241   make us allocate a huge amount of memory for large file lists.
 242
 243                       --          --
 244
 245
 246 Improve error messages
 247
 248   If we hang or get SIGINT, then explain where we were up to.  Perhaps
 249   have a static buffer that contains the current function name, or
 250   some kind of description of what we were trying to do.  This is a
 251   little easier on people than needing to run strace/truss.
 252
 253   "The dungeon collapses!  You are killed."  Rather than "unexpected
 254   eof" give a message that is more detailed if possible and also more
 255   helpful.
 256
 257   If we get an error writing to a socket, then we should perhaps
 258   continue trying to read to see if an error message comes across
 259   explaining why the socket is closed.  I'm not sure if this would
 260   work, but it would certainly make our messages more helpful.
 261
 262   What happens if a directory is missing -x attributes.  Do we lose
 263   our load?  (Debian #28416) Probably fixed now, but a test case would
 264   be good.
 265
 266                       --          --
 267
 268
 269 Better statistics                                       Rasmus  2002/03/08
 270
 271   <Rasmus>
 272       hey, how about an rsync option that just gives you the
 273       summary without the list of files?  And perhaps gives
 274       more information like the number of new files, number
 275       of changed, deleted, etc. ?
 276
 277   <mbp>
 278       nice idea there is --stats but at the moment it's very
 279       tridge-oriented rather than user-friendly it would be
 280       nice to improve it that would also work well with
 281       --dryrun
 282
 283                       --          --
 284
 285
 286 Perhaps flush stdout like syslog
 287
 288   Perhaps flush stdout after each filename, so that people trying to
 289   monitor progress in a log file can do so more easily.  See
 290   http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=48108
 291
 292                       --          --
 293
 294
 295 Log child death on signal
 296
 297   If a child of the rsync daemon dies with a signal, we should notice
 298   that when we reap it and log a message.
 299
 300                       --          --
 301
 302
 303 verbose output                                  David Stein     2001/12/20
 304
 305   At end of transfer, show how many files were or were not transferred
 306   correctly.
 307
 308                       --          --
 309
 310
 311 internationalization
 312
 313   Change to using gettext().  Probably need to ship this for platforms
 314   that don't have it.
 315
 316   Solicit translations.
 317
 318   Does anyone care?  Before we bother modifying the code, we ought to
 319   get the manual translated first, because that's possibly more useful
 320   and at any rate demonstrates desire.
 321
 322                       --          --
 323
 324 DEVELOPMENT --------------------------------------------------------
 325
 326 Handling duplicate names
 327
 328   Some folks would like rsync to be deterministic in how it handles
 329   duplicate names that come from mering multiple source directories
 330   into a single destination directory; e.g. the last name wins.  We
 331   could do this by switching our sort algorithm to one that will
 332   guarantee that the names won't be reordered.  Alternately, we could
 333   assign an ever-increasing number to each item as we insert it into
 334   the list and then make sure that we leave the largest number when
 335   cleaning the file list (see clean_flist()).  Another solution would
 336   be to add a hash table, and thus never put any duplicate names into
 337   the file list (and bump the protocol to handle this).
 338
 339                       --          --
 340
 341
 342 Use generic zlib                                                2002/02/25
 343
 344   Perhaps don't use our own zlib.
 345
 346   Advantages:
 347
 348     - will automatically be up to date with bugfixes in zlib
 349
 350     - can leave it out for small rsync on e.g. recovery disks
 351
 352     - can use a shared library
 353
 354     - avoids people breaking rsync by trying to do this themselves and
 355       messing up
 356
 357   Should we ship zlib for systems that don't have it, or require
 358   people to install it separately?
 359
 360   Apparently this will make us incompatible with versions of rsync
 361   that use the patched version of rsync.  Probably the simplest way to
 362   do this is to just disable gzip (with a warning) when talking to old
 363   versions.
 364
 365                       --          --
 366
 367
 368 TDB                                                             2002/03/12
 369
 370   Rather than storing the file list in memory, store it in a TDB.
 371
 372   This *might* make memory usage lower while building the file list.
 373
 374   Hashtable lookup will mean files are not transmitted in order,
 375   though... hm.
 376
 377   This would neatly eliminate one of the major post-fork shared data
 378   structures.
 379
 380                       --          --
 381
 382
 383 Splint                                                          2002/03/12
 384
 385   Build rsync with SPLINT to try to find security holes.  Add
 386   annotations as necessary.  Keep track of the number of warnings
 387   found initially, and see how many of them are real bugs, or real
 388   security bugs.  Knowing the percentage of likely hits would be
 389   really interesting for other projects.
 390
 391                       --          --
 392
 393 PERFORMANCE ----------------------------------------------------------
 394
 395 Traverse just one directory at a time
 396
 397   Traverse just one directory at a time.  Tridge says it's possible.
 398
 399   At the moment rsync reads the whole file list into memory at the
 400   start, which makes us use a lot of memory and also not pipeline
 401   network access as much as we could.
 402
 403                       --          --
 404
 405
 406 Allow skipping MD4 file_sum                                     2002/04/08
 407
 408   If we're doing a local transfer, or using -W, then perhaps don't
 409   send the file checksum.  If we're doing a local transfer, then
 410   calculating MD4 checksums uses 90% of CPU and is unlikely to be
 411   useful.
 412
 413   We should not allow it to be disabled separately from -W, though
 414   as it is the only thing that lets us know when the rsync algorithm
 415   got out of sync and messed the file up (i.e. if the basis file
 416   changed between checksum generation and reception).
 417
 418                       --          --
 419
 420
 421 Accelerate MD4
 422
 423   Perhaps borrow an assembler MD4 from someone?
 424
 425   Make sure we call MD4 with properly-sized blocks whenever possible
 426   to avoid copying into the residue region?
 427
 428                       --          --
 429
 430 TESTING --------------------------------------------------------------
 431
 432 Torture test
 433
 434   Something that just keeps running rsync continuously over a data set
 435   likely to generate problems.
 436
 437                       --          --
 438
 439
 440 Cross-test versions                                             2001/08/22
 441
 442   Part of the regression suite should be making sure that we
 443   don't break backwards compatibility: old clients vs new
 444   servers and so on.  Ideally we would test both up and down
 445   from the current release to all old versions.
 446
 447   Run current rsync versions against significant past releases.
 448
 449   We might need to omit broken old versions, or versions in which
 450   particular functionality is broken
 451
 452   It might be sufficient to test downloads from well-known public
 453   rsync servers running different versions of rsync.  This will give
 454   some testing and also be the most common case for having different
 455   versions and not being able to upgrade.
 456
 457   The new --protocol option may help in this.
 458
 459                       --          --
 460
 461
 462 Test on kernel source
 463
 464   Download all versions of kernel; unpack, sync between them.  Also
 465   sync between uncompressed tarballs.  Compare directories after
 466   transfer.
 467
 468   Use local mode; ssh; daemon; --whole-file and --no-whole-file.
 469
 470   Use awk to pull out the 'speedup' number for each transfer.  Make
 471   sure it is >= x.
 472
 473                       --          --
 474
 475
 476 Test large files
 477
 478   Sparse and non-sparse
 479
 480                       --          --
 481
 482
 483 Create mutator program for testing
 484
 485   Insert bytes, delete bytes, swap blocks, ...
 486
 487                       --          --
 488
 489
 490 Create configure option to enable dangerous tests
 491
 492                       --          --
 493
 494
 495 Create pipe program for testing
 496
 497   Create pipe program that makes slow/jerky connections for
 498   testing Versions of read() and write() that corrupt the
 499   stream, or abruptly fail
 500
 501                       --          --
 502
 503
 504 Create test makefile target for some tests
 505
 506   Separate makefile target to run rough tests -- or perhaps
 507   just run them every time?
 508
 509                       --          --
 510
 511 RELATED PROJECTS -----------------------------------------------------
 512
 513 rsyncsh
 514
 515    Write a small emulation of interactive ftp as a Pythonn program
 516    that calls rsync.  Commands such as "cd", "ls", "ls *.c" etc map
 517    fairly directly into rsync commands: it just needs to remember the
 518    current host, directory and so on.  We can probably even do
 519    completion of remote filenames.
 520
 521                       --          --
 522
 523
 524 http://rsync.samba.org/rsync-and-debian/
 525
 526
 527                       --          --
 528
 529
 530 rsyncable gzip patch
 531
 532   Exhaustive, tortuous testing
 533
 534   Cleanups?
 535
 536                       --          --
 537
 538
 539 rsyncsplit as alternative to real integration with gzip?
 540
 541                       --          --
 542
 543
 544 reverse rsync over HTTP Range
 545
 546   Goswin Brederlow suggested this on Debian; I think tridge and I
 547   talked about it previous in relation to rproxy.
 548
 549   Addendum:  It looks like someone is working on a version of this:
 550
 551     http://zsync.moria.org.uk/
 552
 553                       --          --
 554