rsync.c

   1 /*
   2    Copyright (C) Andrew Tridgell 1996
   3    Copyright (C) Paul Mackerras 1996
   4
   5    This program is free software; you can redistribute it and/or modify
   6    it under the terms of the GNU General Public License as published by
   7    the Free Software Foundation; either version 2 of the License, or
   8    (at your option) any later version.
   9
  10    This program is distributed in the hope that it will be useful,
  11    but WITHOUT ANY WARRANTY; without even the implied warranty of
  12    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  13    GNU General Public License for more details.
  14
  15    You should have received a copy of the GNU General Public License
  16    along with this program; if not, write to the Free Software
  17    Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  18 */
  19
  20 #include "rsync.h"
  21
  22 extern int verbose;
  23 extern int am_server;
  24 extern int always_checksum;
  25 extern time_t starttime;
  26
  27 extern char *backup_suffix;
  28
  29 extern int block_size;
  30 extern int update_only;
  31 extern int make_backups;
  32 extern int preserve_links;
  33 extern int preserve_perms;
  34 extern int preserve_devices;
  35 extern int preserve_uid;
  36 extern int preserve_gid;
  37 extern int preserve_times;
  38 extern int dry_run;
  39 extern int ignore_times;
  40 extern int recurse;
  41 extern int delete_mode;
  42 extern int cvs_exclude;
  43
  44 /*
  45   free a sums struct
  46   */
  47 static void free_sums(struct sum_struct *s)
  48 {
  49   if (s->sums) free(s->sums);
  50   free(s);
  51 }
  52
  53
  54
  55 /*
  56   send a sums struct down a fd
  57   */
  58 static void send_sums(struct sum_struct *s,int f_out)
  59 {
  60   int i;
  61
  62   /* tell the other guy how many we are going to be doing and how many
  63      bytes there are in the last chunk */
  64   write_int(f_out,s?s->count:0);
  65   write_int(f_out,s?s->n:block_size);
  66   write_int(f_out,s?s->remainder:0);
  67   if (s)
  68     for (i=0;i<s->count;i++) {
  69       write_int(f_out,s->sums[i].sum1);
  70       write_buf(f_out,s->sums[i].sum2,SUM_LENGTH);
  71     }
  72   write_flush(f_out);
  73 }
  74
  75
  76 /*
  77   generate a stream of signatures/checksums that describe a buffer
  78
  79   generate approximately one checksum every n bytes
  80   */
  81 static struct sum_struct *generate_sums(char *buf,off_t len,int n)
  82 {
  83   int i;
  84   struct sum_struct *s;
  85   int count;
  86   int block_len = n;
  87   int remainder = (len%block_len);
  88   off_t offset = 0;
  89
  90   count = (len+(block_len-1))/block_len;
  91
  92   s = (struct sum_struct *)malloc(sizeof(*s));
  93   if (!s) out_of_memory("generate_sums");
  94
  95   s->count = count;
  96   s->remainder = remainder;
  97   s->n = n;
  98   s->flength = len;
  99
 100   if (count==0) {
 101     s->sums = NULL;
 102     return s;
 103   }
 104
 105   if (verbose > 3)
 106     fprintf(stderr,"count=%d rem=%d n=%d flength=%d\n",
 107             s->count,s->remainder,s->n,(int)s->flength);
 108
 109   s->sums = (struct sum_buf *)malloc(sizeof(s->sums[0])*s->count);
 110   if (!s->sums) out_of_memory("generate_sums");
 111
 112   for (i=0;i<count;i++) {
 113     int n1 = MIN(len,n);
 114
 115     s->sums[i].sum1 = get_checksum1(buf,n1);
 116     get_checksum2(buf,n1,s->sums[i].sum2);
 117
 118     s->sums[i].offset = offset;
 119     s->sums[i].len = n1;
 120     s->sums[i].i = i;
 121
 122     if (verbose > 3)
 123       fprintf(stderr,"chunk[%d] offset=%d len=%d sum1=%08x\n",
 124               i,(int)s->sums[i].offset,s->sums[i].len,s->sums[i].sum1);
 125
 126     len -= n1;
 127     buf += n1;
 128     offset += n1;
 129   }
 130
 131   return s;
 132 }
 133
 134
 135 /*
 136   receive the checksums for a buffer
 137   */
 138 static struct sum_struct *receive_sums(int f)
 139 {
 140   struct sum_struct *s;
 141   int i;
 142   off_t offset = 0;
 143   int block_len;
 144
 145   s = (struct sum_struct *)malloc(sizeof(*s));
 146   if (!s) out_of_memory("receive_sums");
 147
 148   s->count = read_int(f);
 149   s->n = read_int(f);
 150   s->remainder = read_int(f);
 151   s->sums = NULL;
 152
 153   if (verbose > 3)
 154     fprintf(stderr,"count=%d n=%d rem=%d\n",
 155             s->count,s->n,s->remainder);
 156
 157   block_len = s->n;
 158
 159   if (s->count == 0)
 160     return(s);
 161
 162   s->sums = (struct sum_buf *)malloc(sizeof(s->sums[0])*s->count);
 163   if (!s->sums) out_of_memory("receive_sums");
 164
 165   for (i=0;i<s->count;i++) {
 166     s->sums[i].sum1 = read_int(f);
 167     read_buf(f,s->sums[i].sum2,SUM_LENGTH);
 168
 169     s->sums[i].offset = offset;
 170     s->sums[i].i = i;
 171
 172     if (i == s->count-1 && s->remainder != 0) {
 173       s->sums[i].len = s->remainder;
 174     } else {
 175       s->sums[i].len = s->n;
 176     }
 177     offset += s->sums[i].len;
 178
 179     if (verbose > 3)
 180       fprintf(stderr,"chunk[%d] len=%d offset=%d sum1=%08x\n",
 181               i,s->sums[i].len,(int)s->sums[i].offset,s->sums[i].sum1);
 182   }
 183
 184   s->flength = offset;
 185
 186   return s;
 187 }
 188
 189
 190 static void set_perms(char *fname,struct file_struct *file,struct stat *st,
 191                       int report)
 192 {
 193   int updated = 0;
 194   struct stat st2;
 195
 196   if (dry_run) return;
 197
 198   if (!st) {
 199     if (stat(fname,&st2) != 0) {
 200       fprintf(stderr,"stat %s : %s\n",fname,strerror(errno));
 201       return;
 202     }
 203     st = &st2;
 204   }
 205
 206   if (preserve_times && st->st_mtime != file->modtime) {
 207     updated = 1;
 208     if (set_modtime(fname,file->modtime) != 0) {
 209       fprintf(stderr,"failed to set times on %s : %s\n",
 210               fname,strerror(errno));
 211       return;
 212     }
 213   }
 214
 215 #ifdef HAVE_CHMOD
 216   if (preserve_perms && st->st_mode != file->mode) {
 217     updated = 1;
 218     if (chmod(fname,file->mode) != 0) {
 219       fprintf(stderr,"failed to set permissions on %s : %s\n",
 220               fname,strerror(errno));
 221       return;
 222     }
 223   }
 224 #endif
 225
 226   if ((preserve_uid && st->st_uid != file->uid) ||
 227       (preserve_gid && st->st_gid != file->gid)) {
 228     updated = 1;
 229     if (chown(fname,
 230               preserve_uid?file->uid:-1,
 231               preserve_gid?file->gid:-1) != 0) {
 232       if (verbose>1 || preserve_uid)
 233         fprintf(stderr,"chown %s : %s\n",fname,strerror(errno));
 234       return;
 235     }
 236   }
 237
 238   if (verbose > 1 && report) {
 239     if (updated)
 240       fprintf(am_server?stderr:stdout,"%s\n",fname);
 241     else
 242       fprintf(am_server?stderr:stdout,"%s is uptodate\n",fname);
 243   }
 244 }
 245
 246
 247 void recv_generator(char *fname,struct file_list *flist,int i,int f_out)
 248 {
 249   int fd;
 250   struct stat st;
 251   char *buf;
 252   struct sum_struct *s;
 253   char sum[SUM_LENGTH];
 254   int statret;
 255
 256   if (verbose > 2)
 257     fprintf(stderr,"recv_generator(%s)\n",fname);
 258
 259   statret = lstat(fname,&st);
 260
 261 #if SUPPORT_LINKS
 262   if (preserve_links && S_ISLNK(flist->files[i].mode)) {
 263     char lnk[MAXPATHLEN];
 264     int l;
 265     if (statret == 0) {
 266       l = readlink(fname,lnk,MAXPATHLEN-1);
 267       if (l > 0) {
 268         lnk[l] = 0;
 269         if (strcmp(lnk,flist->files[i].link) == 0) {
 270           if (verbose > 1)
 271             fprintf(am_server?stderr:stdout,"%s is uptodate\n",fname);
 272           return;
 273         }
 274       }
 275     }
 276     if (!dry_run) unlink(fname);
 277     if (!dry_run && symlink(flist->files[i].link,fname) != 0) {
 278       fprintf(stderr,"link %s -> %s : %s\n",
 279               fname,flist->files[i].link,strerror(errno));
 280     } else {
 281       if (verbose)
 282         fprintf(am_server?stderr:stdout,"%s -> %s\n",fname,flist->files[i].link);
 283     }
 284     return;
 285   }
 286 #endif
 287
 288 #ifdef HAVE_MKNOD
 289   if (preserve_devices &&
 290       (S_ISCHR(flist->files[i].mode) || S_ISBLK(flist->files[i].mode))) {
 291     if (statret != 0 ||
 292         st.st_mode != flist->files[i].mode ||
 293         st.st_rdev != flist->files[i].dev) {
 294       if (!dry_run) unlink(fname);
 295       if (verbose > 2)
 296         fprintf(stderr,"mknod(%s,0%o,0x%x)\n",
 297                 fname,(int)flist->files[i].mode,(int)flist->files[i].dev);
 298       if (!dry_run &&
 299           mknod(fname,flist->files[i].mode,flist->files[i].dev) != 0) {
 300         fprintf(stderr,"mknod %s : %s\n",fname,strerror(errno));
 301       } else {
 302         set_perms(fname,&flist->files[i],NULL,0);
 303         if (verbose)
 304           fprintf(am_server?stderr:stdout,"%s\n",fname);
 305       }
 306     } else {
 307       set_perms(fname,&flist->files[i],&st,1);
 308     }
 309     return;
 310   }
 311 #endif
 312
 313   if (!S_ISREG(flist->files[i].mode)) {
 314     fprintf(stderr,"skipping non-regular file %s\n",fname);
 315     return;
 316   }
 317
 318   if (statret == -1) {
 319     if (errno == ENOENT) {
 320       write_int(f_out,i);
 321       if (!dry_run) send_sums(NULL,f_out);
 322     } else {
 323       if (verbose > 1)
 324         fprintf(stderr,"recv_generator failed to open %s\n",fname);
 325     }
 326     return;
 327   }
 328
 329   if (!S_ISREG(st.st_mode)) {
 330     fprintf(stderr,"%s : not a regular file\n",fname);
 331     return;
 332   }
 333
 334   if (update_only && st.st_mtime >= flist->files[i].modtime) {
 335     if (verbose > 1)
 336       fprintf(stderr,"%s is newer\n",fname);
 337     return;
 338   }
 339
 340   if (always_checksum && S_ISREG(st.st_mode)) {
 341     file_checksum(fname,sum,st.st_size);
 342   }
 343
 344   if (st.st_size == flist->files[i].length &&
 345       ((!ignore_times && st.st_mtime == flist->files[i].modtime) ||
 346        (always_checksum && S_ISREG(st.st_mode) &&
 347         memcmp(sum,flist->files[i].sum,SUM_LENGTH) == 0))) {
 348     set_perms(fname,&flist->files[i],&st,1);
 349     return;
 350   }
 351
 352   if (dry_run) {
 353     write_int(f_out,i);
 354     return;
 355   }
 356
 357   /* open the file */
 358   fd = open(fname,O_RDONLY);
 359
 360   if (fd == -1) {
 361     fprintf(stderr,"failed to open %s : %s\n",fname,strerror(errno));
 362     return;
 363   }
 364
 365   if (st.st_size > 0) {
 366     buf = map_file(fd,st.st_size);
 367     if (!buf) {
 368       fprintf(stderr,"mmap : %s\n",strerror(errno));
 369       close(fd);
 370       return;
 371     }
 372   } else {
 373     buf = NULL;
 374   }
 375
 376   if (verbose > 3)
 377     fprintf(stderr,"mapped %s of size %d\n",fname,(int)st.st_size);
 378
 379   s = generate_sums(buf,st.st_size,block_size);
 380
 381   write_int(f_out,i);
 382   send_sums(s,f_out);
 383   write_flush(f_out);
 384
 385   close(fd);
 386   unmap_file(buf,st.st_size);
 387
 388   free_sums(s);
 389 }
 390
 391
 392
 393 static void receive_data(int f_in,char *buf,int fd,char *fname)
 394 {
 395   int i,n,remainder,len,count;
 396   off_t offset = 0;
 397   off_t offset2;
 398
 399   count = read_int(f_in);
 400   n = read_int(f_in);
 401   remainder = read_int(f_in);
 402
 403   for (i=read_int(f_in); i != 0; i=read_int(f_in)) {
 404     if (i > 0) {
 405       if (verbose > 3)
 406         fprintf(stderr,"data recv %d at %d\n",i,(int)offset);
 407
 408       if (read_write(f_in,fd,i) != i) {
 409         fprintf(stderr,"write failed on %s : %s\n",fname,strerror(errno));
 410         exit(1);
 411       }
 412       offset += i;
 413     } else {
 414       i = -(i+1);
 415       offset2 = i*n;
 416       len = n;
 417       if (i == count-1 && remainder != 0)
 418         len = remainder;
 419
 420       if (verbose > 3)
 421         fprintf(stderr,"chunk[%d] of size %d at %d offset=%d\n",
 422                 i,len,(int)offset2,(int)offset);
 423
 424       if (write(fd,buf+offset2,len) != len) {
 425         fprintf(stderr,"write failed on %s : %s\n",fname,strerror(errno));
 426         exit(1);
 427       }
 428       offset += len;
 429     }
 430   }
 431 }
 432
 433
 434 static void delete_one(struct file_struct *f)
 435 {
 436   if (!S_ISDIR(f->mode)) {
 437     if (!dry_run && unlink(f->name) != 0) {
 438       fprintf(stderr,"unlink %s : %s\n",f->name,strerror(errno));
 439     } else if (verbose) {
 440       fprintf(stderr,"deleting %s\n",f->name);
 441     }
 442   } else {
 443     if (!dry_run && rmdir(f->name) != 0) {
 444       if (errno != ENOTEMPTY)
 445         fprintf(stderr,"rmdir %s : %s\n",f->name,strerror(errno));
 446     } else if (verbose) {
 447       fprintf(stderr,"deleting directory %s\n",f->name);
 448     }
 449   }
 450 }
 451
 452
 453 static void delete_files(struct file_list *flist)
 454 {
 455   struct file_list *local_file_list;
 456   char *dot=".";
 457   int i;
 458
 459   if (!(local_file_list = send_file_list(-1,recurse,1,&dot)))
 460     return;
 461
 462   for (i=local_file_list->count;i>=0;i--) {
 463     if (!local_file_list->files[i].name) continue;
 464     if (-1 == flist_find(flist,&local_file_list->files[i])) {
 465       delete_one(&local_file_list->files[i]);
 466     }
 467   }
 468 }
 469
 470 static char *cleanup_fname = NULL;
 471
 472 int sig_int(void)
 473 {
 474   if (cleanup_fname)
 475     unlink(cleanup_fname);
 476   exit(1);
 477 }
 478
 479
 480 int recv_files(int f_in,struct file_list *flist,char *local_name)
 481 {
 482   int fd1,fd2;
 483   struct stat st;
 484   char *fname;
 485   char fnametmp[MAXPATHLEN];
 486   char *buf;
 487   int i;
 488
 489   if (verbose > 2)
 490     fprintf(stderr,"recv_files(%d) starting\n",flist->count);
 491
 492   if (recurse && delete_mode && !local_name && flist->count>0) {
 493     delete_files(flist);
 494   }
 495
 496   while (1)
 497     {
 498       i = read_int(f_in);
 499       if (i == -1) break;
 500
 501       fname = flist->files[i].name;
 502
 503       if (local_name)
 504         fname = local_name;
 505
 506       if (dry_run) {
 507         if (!am_server && verbose)
 508           printf("%s\n",fname);
 509         continue;
 510       }
 511
 512       if (verbose > 2)
 513         fprintf(stderr,"recv_files(%s)\n",fname);
 514
 515       /* open the file */
 516       if ((fd1 = open(fname,O_RDONLY)) == -1 &&
 517           (fd1 = open(fname,O_RDONLY|O_CREAT,flist->files[i].mode)) == -1) {
 518         fprintf(stderr,"recv_files failed to open %s\n",fname);
 519         return -1;
 520       }
 521
 522       if (fstat(fd1,&st) != 0) {
 523         fprintf(stderr,"fstat %s : %s\n",fname,strerror(errno));
 524         close(fd1);
 525         return -1;
 526       }
 527
 528       if (!S_ISREG(st.st_mode)) {
 529         fprintf(stderr,"%s : not a regular file\n",fname);
 530         close(fd1);
 531         return -1;
 532       }
 533
 534       if (st.st_size > 0) {
 535         buf = map_file(fd1,st.st_size);
 536         if (!buf) {
 537           fprintf(stderr,"map_file failed\n");
 538           return -1;
 539         }
 540       } else {
 541         buf = NULL;
 542       }
 543
 544       if (verbose > 2)
 545         fprintf(stderr,"mapped %s of size %d\n",fname,(int)st.st_size);
 546
 547       /* open tmp file */
 548       sprintf(fnametmp,"%s.XXXXXX",fname);
 549       if (NULL == mktemp(fnametmp)) {
 550         fprintf(stderr,"mktemp %s failed\n",fnametmp);
 551         return -1;
 552       }
 553       fd2 = open(fnametmp,O_WRONLY|O_CREAT,st.st_mode);
 554       if (fd2 == -1) {
 555         fprintf(stderr,"open %s : %s\n",fnametmp,strerror(errno));
 556         return -1;
 557       }
 558
 559       cleanup_fname = fnametmp;
 560
 561       if (!am_server && verbose)
 562         printf("%s\n",fname);
 563
 564       /* recv file data */
 565       receive_data(f_in,buf,fd2,fname);
 566
 567       close(fd1);
 568       close(fd2);
 569
 570       if (verbose > 2)
 571         fprintf(stderr,"renaming %s to %s\n",fnametmp,fname);
 572
 573       if (make_backups) {
 574         char fnamebak[MAXPATHLEN];
 575         sprintf(fnamebak,"%s%s",fname,backup_suffix);
 576         if (rename(fname,fnamebak) != 0) {
 577           fprintf(stderr,"rename %s %s : %s\n",fname,fnamebak,strerror(errno));
 578           exit(1);
 579         }
 580       }
 581
 582       /* move tmp file over real file */
 583       if (rename(fnametmp,fname) != 0) {
 584         fprintf(stderr,"rename %s -> %s : %s\n",
 585                 fnametmp,fname,strerror(errno));
 586       }
 587
 588       cleanup_fname = NULL;
 589
 590       unmap_file(buf,st.st_size);
 591
 592       set_perms(fname,&flist->files[i],NULL,0);
 593     }
 594
 595   if (verbose > 2)
 596     fprintf(stderr,"recv_files finished\n");
 597
 598   return 0;
 599 }
 600
 601
 602
 603 off_t send_files(struct file_list *flist,int f_out,int f_in)
 604 {
 605   int fd;
 606   struct sum_struct *s;
 607   char *buf;
 608   struct stat st;
 609   char fname[MAXPATHLEN];
 610   off_t total=0;
 611   int i;
 612
 613   if (verbose > 2)
 614     fprintf(stderr,"send_files starting\n");
 615
 616   while (1)
 617     {
 618       i = read_int(f_in);
 619       if (i == -1) break;
 620
 621       fname[0] = 0;
 622       if (flist->files[i].dir) {
 623         strcpy(fname,flist->files[i].dir);
 624         strcat(fname,"/");
 625       }
 626       strcat(fname,flist->files[i].name);
 627
 628       if (verbose > 2)
 629         fprintf(stderr,"send_files(%d,%s)\n",i,fname);
 630
 631       if (dry_run) {
 632         if (!am_server && verbose)
 633           printf("%s\n",fname);
 634         write_int(f_out,i);
 635         continue;
 636       }
 637
 638       s = receive_sums(f_in);
 639       if (!s) {
 640         fprintf(stderr,"receive_sums failed\n");
 641         return -1;
 642       }
 643
 644       fd = open(fname,O_RDONLY);
 645       if (fd == -1) {
 646         fprintf(stderr,"send_files failed to open %s: %s\n",
 647                 fname,strerror(errno));
 648         continue;
 649       }
 650
 651       /* map the local file */
 652       if (fstat(fd,&st) != 0) {
 653         fprintf(stderr,"fstat failed : %s\n",strerror(errno));
 654         return -1;
 655       }
 656
 657       if (st.st_size > 0) {
 658         buf = map_file(fd,st.st_size);
 659         if (!buf) {
 660           fprintf(stderr,"map_file failed : %s\n",strerror(errno));
 661           return -1;
 662         }
 663       } else {
 664         buf = NULL;
 665       }
 666
 667       if (verbose > 2)
 668         fprintf(stderr,"send_files mapped %s of size %d\n",
 669                 fname,(int)st.st_size);
 670
 671       write_int(f_out,i);
 672
 673       write_int(f_out,s->count);
 674       write_int(f_out,s->n);
 675       write_int(f_out,s->remainder);
 676
 677       if (verbose > 2)
 678         fprintf(stderr,"calling match_sums %s\n",fname);
 679
 680       if (!am_server && verbose)
 681         printf("%s\n",fname);
 682
 683       match_sums(f_out,s,buf,st.st_size);
 684       write_flush(f_out);
 685
 686       unmap_file(buf,st.st_size);
 687       close(fd);
 688
 689       free_sums(s);
 690
 691       if (verbose > 2)
 692         fprintf(stderr,"sender finished %s\n",fname);
 693
 694       total += st.st_size;
 695     }
 696
 697   match_report();
 698
 699   write_int(f_out,-1);
 700   write_flush(f_out);
 701
 702   return total;
 703 }
 704
 705
 706
 707 void generate_files(int f,struct file_list *flist,char *local_name)
 708 {
 709   int i;
 710
 711   if (verbose > 2)
 712     fprintf(stderr,"generator starting pid=%d count=%d\n",
 713             (int)getpid(),flist->count);
 714
 715   for (i = 0; i < flist->count; i++) {
 716     if (!flist->files[i].name) continue;
 717     if (S_ISDIR(flist->files[i].mode)) {
 718       if (dry_run) continue;
 719       if (mkdir(flist->files[i].name,flist->files[i].mode) != 0 &&
 720           errno != EEXIST) {
 721         fprintf(stderr,"mkdir %s : %s\n",
 722                 flist->files[i].name,strerror(errno));
 723       }
 724       continue;
 725     }
 726     recv_generator(local_name?local_name:flist->files[i].name,
 727                    flist,i,f);
 728   }
 729   write_int(f,-1);
 730   write_flush(f);
 731   if (verbose > 2)
 732     fprintf(stderr,"generator wrote %d\n",write_total());
 733 }