- Make sure the Makefile is up-to-date before running "make gen".
[rsync/rsync.git] / packaging / release-rsync
index fa6761d..b3a2503 100755 (executable)
 #!/usr/bin/perl
 use strict;
 
-# This script expects the directory ~/samba-rsync-ftp to exist and to
-# be a copy of the /home/ftp/pub/rsync dir on samba.org.  If it is run
-# in test mode, it instead expects a dir named ~/tmp/samba-rsync-ftp
-# (e.g. copy ~/samba-rsync-ftp into ~/tmp and you can do a trial-run of
-# a release without affecting the files in the ~/samba-rsync-ftp dir).
-#
-# Run this as "release-rsync live" to affect ~/samba-rsync-ftp instead
-# of ~/tmp/samba-rsync-ftp.
+# This script expects the directory ~/samba-rsync-ftp to exist and to be a
+# copy of the /home/ftp/pub/rsync dir on samba.org.  When the script is done,
+# the git repository in the current directory will be updated, and the local
+# ~/samba-rsync-ftp dir will be ready to be rsynced to samba.org.
 
+use Cwd;
 use Date::Format;
 
 my $dest = $ENV{HOME} . '/samba-rsync-ftp';
-my $releasedir = $ENV{HOME} . '/release';
-my $cvsroot = $ENV{CVSROOT} = 'samba.org:/data/cvs';
 
+my $cl_today = time2str('* %a %b %d %Y', time);
 my $ztoday = time2str('%d %b %Y', time);
-my $today = $ztoday;
-$today =~ s/^0//;
+(my $today = $ztoday) =~ s/^0//;
 
-my $dots = <<EOT;
-.........................................................................
-EOT
-my $note = <<EOT;
+my $curdir = Cwd::cwd;
+
+my @extra_files;
+open(IN, '<', 'Makefile.in') or die "Couldn't open Makefile.in: $!\n";
+while (<IN>) {
+    if (s/^GENFILES=//) {
+       while (s/\\$//) {
+           $_ .= <IN>;
+       }
+       @extra_files = split(' ', $_);
+       last;
+    }
+}
+close IN;
 
-**
-** Note: type "-a u,n" if you want to auto-accept the U,N suggestions. **
-**
+my $break = <<EOT;
+==========================================================================
 EOT
 
-my $live = shift;
+print $break, <<EOT, $break, "\n";
+== This will release a new version of rsync onto an unsuspecting world. ==
+EOT
 
-if ($live) {
-    print "This will release a new version of rsync onto an unsuspecting world.\n";
-} else {
-    print "**** TESTMODE **** (add \"live\" arg to avoid this)\n";
-    $dest =~ s#([^/]+$)#tmp/$1#;
-}
 die "$dest does not exist\n" unless -d $dest;
+die "There is no .git dir in the current directory.\n" unless -d '.git';
+die "'a' must not exist in the current directory.\n" if -e 'a';
+die "'b' must not exist in the current directory.\n" if -e 'b';
+
+open(IN, '-|', 'git status') or die $!;
+my $status = join('', <IN>);
+close IN;
+die "The checkout is not clean:\n", $status unless $status =~ /\nnothing to commit \(working directory clean\)/;
+die "The checkout is not on the master branch.\n" unless $status =~ /^# On branch master\n/;
+
+my $lastversion;
+open(IN, '<', 'configure.in') or die $!;
+while (<IN>) {
+    if (/^RSYNC_VERSION=(.*)/) {
+       $lastversion = $1;
+       last;
+    }
+}
+close IN;
+if ($lastversion =~ /dev$/) {
+    open(IN, '<', 'OLDNEWS') or die $!;
+    $_ = <IN>;
+    close IN;
+    ($lastversion) = /(\d+\.\d+\.\d+)/;
+}
 
-print "\nPlease enter the version number of this release: ";
-my $version = <STDIN>;
-chomp $version;
-$version =~ s/[-.]*pre[-.]*/pre/;
+my $version = $lastversion;
+$version =~ s/dev/pre1/ || $version =~ s/pre(\d+)/ 'pre' . ($1 + 1) /e;
 
-my $cvstag = "release-$version";
-$cvstag =~ s/[.]/-/g;
-$cvstag =~ s/pre/-pre/;
+print "Please enter the version number of this release: [$version] ";
+chomp($_ = <STDIN>);
+if ($_ eq '.') {
+    $version =~ s/pre\d+//;
+} elsif ($_ ne '') {
+    $version = $_;
+}
+$version =~ s/[-.]*pre[-.]*/pre/;
 
-print "Enter the previous version to produce a patch against: ";
-my $lastversion = <STDIN>;
-chomp $lastversion;
+print "Enter the previous version to produce a patch against: [$lastversion] ";
+chomp($_ = <STDIN>);
+$lastversion = $_ if $_ ne '';
 $lastversion =~ s/[-.]*pre[-.]*/pre/;
 
-print "Please enter the RPM release number of this release (default 1): ";
-my $release = <STDIN>;
-chomp $release;
-$release = 1 if $release eq '';
+my $release = 1;
+print "Please enter the RPM release number of this release: [$release] ";
+chomp($_ = <STDIN>);
+$release = $_ if $_ ne '';
 
 my $diffdir;
+my $skipping;
 if ($lastversion =~ /pre/) {
     if ($version !~ /pre/) {
        die "You should not diff a release version against a pre-release version.\n";
     }
     $diffdir = "$dest/old-previews";
+    $skipping = ' ** SKIPPING **';
 } elsif ($version =~ /pre/) {
     $diffdir = $dest;
+    $skipping = ' ** SKIPPING **';
 } else {
     $diffdir = "$dest/old-versions";
+    $skipping = '';
 }
 
-my $tarfile = "$dest/rsync-$version.tar.gz";
-
-print <<EOT;
-
+print "\n", $break, <<EOT;
 \$version is "$version"
 \$lastversion is "$lastversion"
-\$cvstag is "$cvstag"
 \$dest is "$dest"
-\$releasedir is "$releasedir"
+\$curdir is "$curdir"
 \$diffdir is "$diffdir"
 \$release is "$release"
 
 About to:
-    - create and/or clean the \$releasedir
-    - checkout rsync into \$releasedir
-    - tweak NEWS and OLDNEWS to update the release date
-    - tweak the version in configure.in, configure, and the spec files
-    - tweak the date in the *.yo files and re-generate the man pages
-    - make sure that the patches dir has been updated
-    - page through the "cvs diff" output
+    - make sure that SUBPROTOCOL_VERSION is 0$skipping
+    - tweak the version in configure.in and the spec files
+    - tweak NEWS and OLDNEWS to update the release date$skipping
+    - tweak the date in the *.yo files and generate the man pages
+    - generate configure.sh, config.h.in, and proto.h
+    - page through the differences
 
 EOT
 print "<Press Enter to continue> ";
 $_ = <STDIN>;
 
-mkdir($releasedir, 0755) or die $! unless -d $releasedir;
-chdir($releasedir) or die $!;
-
-system "rm -rf rsync rsync-$version rsync-$lastversion";
-
-system "cvs checkout -P rsync";
-
-chdir('rsync') or die $!;
-
-print $dots;
-
-system "./prepare-source && touch proto.h";
-
 my @tweak_files = ( glob('packaging/*.spec'), glob('packaging/*/*.spec'),
-                   glob('*.yo'), qw( configure.in configure ) );
+                   glob('*.yo'), qw( configure.in ) );
+
 if ($version !~ /pre/) {
-    push(@tweak_files, qw( NEWS OLDNEWS ));
+    push(@tweak_files, qw( rsync.h NEWS OLDNEWS ));
 }
 foreach my $fn (@tweak_files) {
     open(IN, '<', $fn) or die $!;
     undef $/; $_ = <IN>; $/ = "\n";
     close IN;
     if ($fn =~ /configure/) {
-       s/^RSYNC_VERSION.*/RSYNC_VERSION=$version/m;
+       s/^RSYNC_VERSION=.*/RSYNC_VERSION=$version/m;
     } elsif ($fn =~ /\.spec/) {
        s/^(Version:) .*/$1 $version/m;
        s/^(Release:) .*/$1 $release/m;
+       s/^(Released) .*/$1 $version./m;
+       s/^\* \w\w\w \w\w\w \d\d \d\d\d\d (.*)/$cl_today $1/m;
     } elsif ($fn =~ /\.yo/) {
        s/^(manpage\([^)]+\)\(\d+\)\()[^)]+(\).*)/$1$today$2/m;
        s/^(This man ?page is current for version) \S+ (of rsync)/$1 $version $2/m;
+    } elsif ($fn eq 'NEWS') {
+       s/^(NEWS for rsync \Q$version\E) \(UNRELEASED\)\s*\n/$1 ($today)\n/mi
+           or die "Couldn't update NEWS file with release date!\n";
+    } elsif ($fn eq 'rsync.h') {
+       s/(#define\s+SUBPROTOCOL_VERSION)\s+\d+/$1 0/;
+    } elsif ($fn eq 'OLDNEWS') {
+       s/^\t\S\S\s\S\S\S\s\d\d\d\d(\t\Q$version\E)/\t$ztoday$1/m
+           or die "Couldn't update OLDNEWS file with release date!\n";
     } else {
-       s/^(NEWS for rsync \Q$version\E) \(UNRELEASED\)\s*$/$1 ($today)\n/m;
-       s/^\t\S\S\s\S\S\S\s\d\d\d\d(\t\Q$version\E)/\t$ztoday$1/m;
+       die "Unrecognized file in \@tweak_files: $fn\n";
     }
     open(OUT, '>', $fn) or die $!;
     print OUT $_;
     close OUT;
 }
 
-system "yodl2man -o rsync.1 rsync.yo";
-system "yodl2man -o rsyncd.conf.5 rsyncd.conf.yo";
-#system "perl -pi -e \"s/\\\\\\'/\\\\&'/g\" rsync.1 rsyncd.conf.5";
+print $break;
+system "git diff --color | less -p '^diff .*'";
 
-mkdir('patches/tmp') or die $!;
-system "rsync -a --exclude=patches/ --exclude-from=.cvsignore . patches/tmp/cvsdir/";
+my $srctar_name = "rsync-$version.tar.gz";
+my $pattar_name = "rsync-patches-$version.tar.gz";
+my $diff_name = "rsync-$lastversion-$version.diffs.gz";
+my $srctar_file = "$dest/$srctar_name";
+my $pattar_file = "$dest/$pattar_name";
+my $diff_file = "$dest/$diff_name";
+my $lasttar_file = "$dest/rsync-$lastversion.tar.gz";
 
-print $dots, $note;
-
-system "patches/verify-patches -un -an";
-
-system "cvs -q diff | egrep -v '^(===============|RCS file: |retrieving revision |Index: )' | less -p '^diff .*'";
-
-print <<EOT;
+print $break, <<EOT;
 
 About to:
-    - "cvs commit" all changes
-    - "cvs tag" this release as $cvstag
-
-EOT
-if ($live) {
-    print "<Press Enter to continue> ";
-    $_ = <STDIN>;
-
-    system "cvs commit -m 'Preparing for release of $version'";
-    system "cvs tag -F $cvstag .";
-} else {
-    print "\n**** Skipping cvs commit and tagging in TESTMODE ****\n";
-}
-
-print <<EOT;
-
-About to do the following in the samba-rsync-ftp dir:
-    - change the diffs in the patches dir to include generated files
-    - create release tar "$tarfile"
-    - create release diffs
-    - update README, *NEWS, TODO, and cvs.log
+    - commit all changes
+    - tag this release as v$version
+    - move the old tar/diff files into the appropriate old-* dirs
+    - hard-link the moved tar/diff files on samba.org
+    - create release tar, "$srctar_name"
+    - create patches tar, "$pattar_name"
+    - create release diffs, "$diff_name"
+    - update patch branches and generate patch/* files
+    - update README, *NEWS, TODO, and changelog
     - update rsync*.html man pages
+    - gpg-sign the release files
 
 EOT
 print "<Press Enter to continue> ";
 $_ = <STDIN>;
 
-print $note;
-
-system "patches/verify-patches -pun -an";
-
-chdir($releasedir) or die $!;
+system "git commit -a -m 'Preparing for release of $version'" and exit 1;
+system "git tag -s -m 'Version $version.' v$version" and exit 1;
 
-print $dots;
-
-mkdir("rsync-$version", 0755) or die $!;
-system "rsync -aC --exclude=.cvsignore rsync/ rsync-$version";
+# Extract some files from the old tar before we do the shuffle.
+@_ = @extra_files;
+map { s#^#rsync-$lastversion/# } @_;
+system "tar xzf $lasttar_file @_";
+rename("rsync-$lastversion", 'a');
 
 # When creating a pre-release after a normal release, there's nothing to move.
 if ($diffdir ne $dest) {
     chdir($dest) or die $!;
 
-    # We need to run this regardless of $lastversion's "pre"ness. */
+    print "Shuffling old files ...\n";
+
+    # We need to run this regardless of $lastversion's "pre"ness.
+    my @moved_files;
     foreach my $fn (glob('rsync*pre*.tar.gz*'), glob('rsync*pre*-NEWS')) {
-       rename($fn, "old-previews/$fn");
+       link($fn, "old-previews/$fn") or die $!;
+       push(@moved_files, $fn);
     }
-    system "rm -f rsync*pre*.diffs.gz*";
 
     if ($version !~ /pre/) {
        foreach my $fn (glob('rsync*.tar.gz*'), glob('rsync*-NEWS')) {
-           rename($fn, "old-versions/$fn");
+           next if $fn =~ /^rsync.*pre/;
+           link($fn, "old-versions/$fn") or die $!;
+           push(@moved_files, $fn);
+       }
+
+       foreach my $fn (glob('rsync*pre*.diffs.gz*')) {
+           unlink($fn);
        }
 
        foreach my $fn (glob('rsync*.diffs.gz*')) {
-           rename($fn, "old-patches/$fn");
+           link($fn, "old-patches/$fn") or die $!;
+           push(@moved_files, $fn);
        }
     }
 
-    chdir($releasedir) or die $!;
-}
-system "fakeroot tar czf $tarfile rsync-$version";
+    # Optimize our future upload (in the absence of --detect-renamed) by
+    # using rsync to hard-link the above files on samba.org.
+    system "rsync -avHOC --include='rsync*.gz*' --include='old-*/' --exclude='*' . samba.org:/home/ftp/pub/rsync";
+    foreach (@moved_files) {
+       unlink($_);
+    }
 
-system "tar xzf $diffdir/rsync-$lastversion.tar.gz";
-## TWEAK THE VERSIONS AS DESIRED HERE ##
-#mkdir("rsync-$lastversion/support", 0755) or die $!;
-#rename("rsync-$lastversion/rsyncstats", "rsync-$lastversion/support/rsyncstats");
-## END ##
-system "diff -urN --exclude=patches rsync-$lastversion rsync-$version"
-     . "| gzip -9 >$dest/rsync-$lastversion-$version.diffs.gz";
+    chdir($curdir) or die $!;
+}
 
-system "rsync -a rsync/{README,NEWS,OLDNEWS,TODO} $dest";
+print "Creating $diff_file ...\n";
+system "./config.status Makefile; make gen; rsync -a @extra_files b/";
+my $sed_script = 's:^((---|\+\+\+) [ab]/[^\t]+)\t.*:\1:';
+system "(git diff v$lastversion v$version; diff -up a b | sed -r '$sed_script') | gzip -9 >$diff_file";
+system "rm -rf a";
+rename('b', "rsync-$version");
+
+print "Creating $srctar_file ...\n";
+system "git archive --format=tar --prefix=rsync-$version/ v$version | tar xf -";
+system "support/git-set-file-times --prefix=rsync-$version/";
+system "fakeroot tar czf $srctar_file rsync-$version; rm -rf rsync-$version";
+
+mkdir("rsync-$version", 0755);
+mkdir("rsync-$version/patches", 0755);
+system "support/patch-update --gen=rsync-$version/patches";
+system "fakeroot tar chzf $pattar_file rsync-$version/patches; rm -rf rsync-$version";
+
+print "Updating the other files in $dest ...\n";
+system "rsync -a README NEWS OLDNEWS TODO $dest";
 unlink("$dest/rsync-$version-NEWS");
 link("$dest/NEWS", "$dest/rsync-$version-NEWS");
-system "rsync -a $cvsroot/CVSROOT/rsync.updates $dest/cvs.log";
-
-system "yodl2html -o $dest/rsync.html rsync/rsync.yo";
-system "yodl2html -o $dest/rsyncd.conf.html rsync/rsyncd.conf.yo";
-
-system "rm -rf rsync rsync-$version rsync-$lastversion";
+system "git log --name-status | gzip -9 >$dest/changelog.gz";
 
-if ($live) {
-    chdir($dest) or die $!;
-    system "gpg -ba rsync-$version.tar.gz";
-    system "gpg -ba rsync-$lastversion-$version.diffs.gz";
-}
+system "yodl2html -o $dest/rsync.html rsync.yo";
+system "yodl2html -o $dest/rsyncd.conf.html rsyncd.conf.yo";
 
-print <<EOT;
+chdir($dest) or die $!;
+system "gpg -ba $srctar_name; gpg -ba $pattar_name; gpg -ba $diff_name";
+print $break, <<EOT;
 
 All done.  Remember to announce the release on *BOTH*
 rsync-announce\@lists.samba.org and rsync\@lists.samba.org!