params.c

   1 /* This modules is based on the params.c module from Samba, written by Karl Auer
   2    and much modifed by Christopher Hertel. */
   3
   4 /*
   5  * This program is free software; you can redistribute it and/or modify
   6  * it under the terms of the GNU General Public License as published by
   7  * the Free Software Foundation; either version 3 of the License, or
   8  * (at your option) any later version.
   9  *
  10  * This program is distributed in the hope that it will be useful,
  11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  13  * GNU General Public License for more details.
  14  *
  15  * You should have received a copy of the GNU General Public License along
  16  * with this program; if not, visit the http://fsf.org website.
  17  */
  18
  19 /* -------------------------------------------------------------------------- **
  20  *
  21  * Module name: params
  22  *
  23  * -------------------------------------------------------------------------- **
  24  *
  25  *  This module performs lexical analysis and initial parsing of a
  26  *  Windows-like parameter file.  It recognizes and handles four token
  27  *  types:  section-name, parameter-name, parameter-value, and
  28  *  end-of-file.  Comments and line continuation are handled
  29  *  internally.
  30  *
  31  *  The entry point to the module is function pm_process().  This
  32  *  function opens the source file, calls the Parse() function to parse
  33  *  the input, and then closes the file when either the EOF is reached
  34  *  or a fatal error is encountered.
  35  *
  36  *  A sample parameter file might look like this:
  37  *
  38  *  [section one]
  39  *  parameter one = value string
  40  *  parameter two = another value
  41  *  [section two]
  42  *  new parameter = some value or t'other
  43  *
  44  *  The parameter file is divided into sections by section headers:
  45  *  section names enclosed in square brackets (eg. [section one]).
  46  *  Each section contains parameter lines, each of which consist of a
  47  *  parameter name and value delimited by an equal sign.  Roughly, the
  48  *  syntax is:
  49  *
  50  *    <file>            :==  { <section> } EOF
  51  *
  52  *    <section>         :==  <section header> { <parameter line> }
  53  *
  54  *    <section header>  :==  '[' NAME ']'
  55  *
  56  *    <parameter line>  :==  NAME '=' VALUE '\n'
  57  *
  58  *  Blank lines and comment lines are ignored.  Comment lines are lines
  59  *  beginning with either a semicolon (';') or a pound sign ('#').
  60  *
  61  *  All whitespace in section names and parameter names is compressed
  62  *  to single spaces.  Leading and trailing whitespace is stipped from
  63  *  both names and values.
  64  *
  65  *  Only the first equals sign in a parameter line is significant.
  66  *  Parameter values may contain equals signs, square brackets and
  67  *  semicolons.  Internal whitespace is retained in parameter values,
  68  *  with the exception of the '\r' character, which is stripped for
  69  *  historic reasons.  Parameter names may not start with a left square
  70  *  bracket, an equal sign, a pound sign, or a semicolon, because these
  71  *  are used to identify other tokens.
  72  *
  73  * -------------------------------------------------------------------------- **
  74  */
  75
  76 #include "rsync.h"
  77 #include "ifuncs.h"
  78
  79 /* -------------------------------------------------------------------------- **
  80  * Constants...
  81  */
  82
  83 #define BUFR_INC 1024
  84
  85
  86 /* -------------------------------------------------------------------------- **
  87  * Variables...
  88  *
  89  *  bufr        - pointer to a global buffer.  This is probably a kludge,
  90  *                but it was the nicest kludge I could think of (for now).
  91  *  bSize       - The size of the global buffer <bufr>.
  92  */
  93
  94 static char *bufr  = NULL;
  95 static int   bSize = 0;
  96 static BOOL  (*the_sfunc)(char *);
  97 static BOOL  (*the_pfunc)(char *, char *);
  98
  99 /* -------------------------------------------------------------------------- **
 100  * Functions...
 101  */
 102
 103 static int EatWhitespace( FILE *InFile )
 104   /* ------------------------------------------------------------------------ **
 105    * Scan past whitespace (see ctype(3C)) and return the first non-whitespace
 106    * character, or newline, or EOF.
 107    *
 108    *  Input:  InFile  - Input source.
 109    *
 110    *  Output: The next non-whitespace character in the input stream.
 111    *
 112    *  Notes:  Because the config files use a line-oriented grammar, we
 113    *          explicitly exclude the newline character from the list of
 114    *          whitespace characters.
 115    *        - Note that both EOF (-1) and the nul character ('\0') are
 116    *          considered end-of-file markers.
 117    *
 118    * ------------------------------------------------------------------------ **
 119    */
 120   {
 121   int c;
 122
 123   for( c = getc( InFile ); isspace( c ) && ('\n' != c); c = getc( InFile ) )
 124     ;
 125   return( c );
 126   } /* EatWhitespace */
 127
 128 static int EatComment( FILE *InFile )
 129   /* ------------------------------------------------------------------------ **
 130    * Scan to the end of a comment.
 131    *
 132    *  Input:  InFile  - Input source.
 133    *
 134    *  Output: The character that marks the end of the comment.  Normally,
 135    *          this will be a newline, but it *might* be an EOF.
 136    *
 137    *  Notes:  Because the config files use a line-oriented grammar, we
 138    *          explicitly exclude the newline character from the list of
 139    *          whitespace characters.
 140    *        - Note that both EOF (-1) and the nul character ('\0') are
 141    *          considered end-of-file markers.
 142    *
 143    * ------------------------------------------------------------------------ **
 144    */
 145   {
 146   int c;
 147
 148   for( c = getc( InFile ); ('\n'!=c) && (EOF!=c) && (c>0); c = getc( InFile ) )
 149     ;
 150   return( c );
 151   } /* EatComment */
 152
 153 static int Continuation( char *line, int pos )
 154   /* ------------------------------------------------------------------------ **
 155    * Scan backards within a string to discover if the last non-whitespace
 156    * character is a line-continuation character ('\\').
 157    *
 158    *  Input:  line  - A pointer to a buffer containing the string to be
 159    *                  scanned.
 160    *          pos   - This is taken to be the offset of the end of the
 161    *                  string.  This position is *not* scanned.
 162    *
 163    *  Output: The offset of the '\\' character if it was found, or -1 to
 164    *          indicate that it was not.
 165    *
 166    * ------------------------------------------------------------------------ **
 167    */
 168   {
 169   pos--;
 170   while( pos >= 0 && isSpace(line + pos) )
 171      pos--;
 172
 173   return( ((pos >= 0) && ('\\' == line[pos])) ? pos : -1 );
 174   } /* Continuation */
 175
 176
 177 static BOOL Section( FILE *InFile, BOOL (*sfunc)(char *) )
 178   /* ------------------------------------------------------------------------ **
 179    * Scan a section name, and pass the name to function sfunc().
 180    *
 181    *  Input:  InFile  - Input source.
 182    *          sfunc   - Pointer to the function to be called if the section
 183    *                    name is successfully read.
 184    *
 185    *  Output: True if the section name was read and True was returned from
 186    *          <sfunc>.  False if <sfunc> failed or if a lexical error was
 187    *          encountered.
 188    *
 189    * ------------------------------------------------------------------------ **
 190    */
 191   {
 192   int   c;
 193   int   i;
 194   int   end;
 195   char *func  = "params.c:Section() -";
 196
 197   i = 0;      /* <i> is the offset of the next free byte in bufr[] and  */
 198   end = 0;    /* <end> is the current "end of string" offset.  In most  */
 199               /* cases these will be the same, but if the last          */
 200               /* character written to bufr[] is a space, then <end>     */
 201               /* will be one less than <i>.                             */
 202
 203   c = EatWhitespace( InFile );    /* We've already got the '['.  Scan */
 204                                   /* past initial white space.        */
 205
 206   while( (EOF != c) && (c > 0) )
 207     {
 208
 209     /* Check that the buffer is big enough for the next character. */
 210     if( i > (bSize - 2) )
 211       {
 212       bSize += BUFR_INC;
 213       bufr   = realloc_array( bufr, char, bSize );
 214       if( NULL == bufr )
 215         {
 216         rprintf(FLOG, "%s Memory re-allocation failure.", func);
 217         return( False );
 218         }
 219       }
 220
 221     /* Handle a single character. */
 222     switch( c )
 223       {
 224       case ']':                       /* Found the closing bracket.         */
 225         bufr[end] = '\0';
 226         if( 0 == end )                  /* Don't allow an empty name.       */
 227           {
 228           rprintf(FLOG, "%s Empty section name in configuration file.\n", func );
 229           return( False );
 230           }
 231         if( !sfunc( bufr ) )            /* Got a valid name.  Deal with it. */
 232           return( False );
 233         (void)EatComment( InFile );     /* Finish off the line.             */
 234         return( True );
 235
 236       case '\n':                      /* Got newline before closing ']'.    */
 237         i = Continuation( bufr, i );    /* Check for line continuation.     */
 238         if( i < 0 )
 239           {
 240           bufr[end] = '\0';
 241           rprintf(FLOG, "%s Badly formed line in configuration file: %s\n",
 242                    func, bufr );
 243           return( False );
 244           }
 245         end = ( (i > 0) && (' ' == bufr[i - 1]) ) ? (i - 1) : (i);
 246         c = getc( InFile );             /* Continue with next line.         */
 247         break;
 248
 249       default:                        /* All else are a valid name chars.   */
 250         if( isspace( c ) )              /* One space per whitespace region. */
 251           {
 252           bufr[end] = ' ';
 253           i = end + 1;
 254           c = EatWhitespace( InFile );
 255           }
 256         else                            /* All others copy verbatim.        */
 257           {
 258           bufr[i++] = c;
 259           end = i;
 260           c = getc( InFile );
 261           }
 262       }
 263     }
 264
 265   /* We arrive here if we've met the EOF before the closing bracket. */
 266   rprintf(FLOG, "%s Unexpected EOF in the configuration file: %s\n", func, bufr );
 267   return( False );
 268   } /* Section */
 269
 270 static BOOL Parameter( FILE *InFile, BOOL (*pfunc)(char *, char *), int c )
 271   /* ------------------------------------------------------------------------ **
 272    * Scan a parameter name and value, and pass these two fields to pfunc().
 273    *
 274    *  Input:  InFile  - The input source.
 275    *          pfunc   - A pointer to the function that will be called to
 276    *                    process the parameter, once it has been scanned.
 277    *          c       - The first character of the parameter name, which
 278    *                    would have been read by Parse().  Unlike a comment
 279    *                    line or a section header, there is no lead-in
 280    *                    character that can be discarded.
 281    *
 282    *  Output: True if the parameter name and value were scanned and processed
 283    *          successfully, else False.
 284    *
 285    *  Notes:  This function is in two parts.  The first loop scans the
 286    *          parameter name.  Internal whitespace is compressed, and an
 287    *          equal sign (=) terminates the token.  Leading and trailing
 288    *          whitespace is discarded.  The second loop scans the parameter
 289    *          value.  When both have been successfully identified, they are
 290    *          passed to pfunc() for processing.
 291    *
 292    * ------------------------------------------------------------------------ **
 293    */
 294   {
 295   int   i       = 0;    /* Position within bufr. */
 296   int   end     = 0;    /* bufr[end] is current end-of-string. */
 297   int   vstart  = 0;    /* Starting position of the parameter value. */
 298   char *func    = "params.c:Parameter() -";
 299
 300   /* Read the parameter name. */
 301   while( 0 == vstart )  /* Loop until we've found the start of the value. */
 302     {
 303
 304     if( i > (bSize - 2) )       /* Ensure there's space for next char.    */
 305       {
 306       bSize += BUFR_INC;
 307       bufr   = realloc_array( bufr, char, bSize );
 308       if( NULL == bufr )
 309         {
 310         rprintf(FLOG, "%s Memory re-allocation failure.", func) ;
 311         return( False );
 312         }
 313       }
 314
 315     switch( c )
 316       {
 317       case '=':                 /* Equal sign marks end of param name. */
 318         if( 0 == end )              /* Don't allow an empty name.      */
 319           {
 320           rprintf(FLOG, "%s Invalid parameter name in config. file.\n", func );
 321           return( False );
 322           }
 323         bufr[end++] = '\0';         /* Mark end of string & advance.   */
 324         i       = end;              /* New string starts here.         */
 325         vstart  = end;              /* New string is parameter value.  */
 326         bufr[i] = '\0';             /* New string is nul, for now.     */
 327         break;
 328
 329       case '\n':                /* Find continuation char, else error. */
 330         i = Continuation( bufr, i );
 331         if( i < 0 )
 332           {
 333           bufr[end] = '\0';
 334           rprintf(FLOG, "%s Ignoring badly formed line in configuration file: %s\n",
 335                    func, bufr );
 336           return( True );
 337           }
 338         end = ( (i > 0) && (' ' == bufr[i - 1]) ) ? (i - 1) : (i);
 339         c = getc( InFile );       /* Read past eoln.                   */
 340         break;
 341
 342       case '\0':                /* Shouldn't have EOF within param name. */
 343       case EOF:
 344         bufr[i] = '\0';
 345         rprintf(FLOG, "%s Unexpected end-of-file at: %s\n", func, bufr );
 346         return( True );
 347
 348       default:
 349         if( isspace( c ) )     /* One ' ' per whitespace region.       */
 350           {
 351           bufr[end] = ' ';
 352           i = end + 1;
 353           c = EatWhitespace( InFile );
 354           }
 355         else                   /* All others verbatim.                 */
 356           {
 357           bufr[i++] = c;
 358           end = i;
 359           c = getc( InFile );
 360           }
 361       }
 362     }
 363
 364   /* Now parse the value. */
 365   c = EatWhitespace( InFile );  /* Again, trim leading whitespace. */
 366   while( (EOF !=c) && (c > 0) )
 367     {
 368
 369     if( i > (bSize - 2) )       /* Make sure there's enough room. */
 370       {
 371       bSize += BUFR_INC;
 372       bufr   = realloc_array( bufr, char, bSize );
 373       if( NULL == bufr )
 374         {
 375         rprintf(FLOG, "%s Memory re-allocation failure.", func) ;
 376         return( False );
 377         }
 378       }
 379
 380     switch( c )
 381       {
 382       case '\r':              /* Explicitly remove '\r' because the older */
 383         c = getc( InFile );   /* version called fgets_slash() which also  */
 384         break;                /* removes them.                            */
 385
 386       case '\n':              /* Marks end of value unless there's a '\'. */
 387         i = Continuation( bufr, i );
 388         if( i < 0 )
 389           c = 0;
 390         else
 391           {
 392           for( end = i; end >= 0 && isSpace(bufr + end); end-- )
 393             ;
 394           c = getc( InFile );
 395           }
 396         break;
 397
 398       default:               /* All others verbatim.  Note that spaces do */
 399         bufr[i++] = c;       /* not advance <end>.  This allows trimming  */
 400         if( !isspace( c ) )  /* of whitespace at the end of the line.     */
 401           end = i;
 402         c = getc( InFile );
 403         break;
 404       }
 405     }
 406   bufr[end] = '\0';          /* End of value. */
 407
 408   return( pfunc( bufr, &bufr[vstart] ) );   /* Pass name & value to pfunc().  */
 409   } /* Parameter */
 410
 411 static int name_cmp(const void *n1, const void *n2)
 412 {
 413     return strcmp(*(char * const *)n1, *(char * const *)n2);
 414 }
 415
 416 static int include_config(char *include, int manage_globals)
 417 {
 418     item_list conf_list;
 419     struct dirent *di;
 420     char buf[MAXPATHLEN], **bpp;
 421     int ret = 1;
 422     size_t j;
 423     DIR *d;
 424
 425     memset(&conf_list, 0, sizeof conf_list);
 426
 427     if ((d = opendir(include)) != NULL) {
 428         while ((di = readdir(d)) != NULL) {
 429             char *dname = d_name(di);
 430             if (!wildmatch("*.conf", dname))
 431                 continue;
 432             bpp = EXPAND_ITEM_LIST(&conf_list, char *, 32);
 433             pathjoin(buf, sizeof buf, include, dname);
 434             *bpp = strdup(buf);
 435         }
 436         closedir(d);
 437     } else {
 438         STRUCT_STAT sb;
 439         if (stat(include, &sb) < 0)
 440             return 0;
 441         bpp = EXPAND_ITEM_LIST(&conf_list, char *, 1);
 442         *bpp = strdup(include);
 443     }
 444
 445     if (conf_list.count > 1)
 446         qsort(conf_list.items, conf_list.count, sizeof (char *), name_cmp);
 447
 448     bpp = conf_list.items;
 449     for (j = 0; j < conf_list.count; j++) {
 450         if (manage_globals && the_sfunc)
 451             the_sfunc(j == 0 ? "]push" : "]reset");
 452         if ((ret = pm_process(bpp[j], the_sfunc, the_pfunc)) != 1)
 453             break;
 454     }
 455
 456     if (manage_globals && the_sfunc && conf_list.count)
 457         the_sfunc("]pop");
 458
 459     for (j = 0; j < conf_list.count; j++)
 460         free(bpp[j]);
 461
 462     return ret;
 463 }
 464
 465 static int parse_directives(char *name, char *val)
 466 {
 467     if (strcasecmp(name, "include") == 0)
 468         return include_config(val, 1);
 469     if (strcasecmp(name, "merge") == 0)
 470         return include_config(val, 0);
 471     rprintf(FLOG, "Unknown directive: &%s.\n", name);
 472     return 0;
 473 }
 474
 475 static int Parse( FILE *InFile,
 476                    BOOL (*sfunc)(char *),
 477                    BOOL (*pfunc)(char *, char *) )
 478   /* ------------------------------------------------------------------------ **
 479    * Scan & parse the input.
 480    *
 481    *  Input:  InFile  - Input source.
 482    *          sfunc   - Function to be called when a section name is scanned.
 483    *                    See Section().
 484    *          pfunc   - Function to be called when a parameter is scanned.
 485    *                    See Parameter().
 486    *
 487    *  Output: 1 if the file was successfully scanned, 2 if the file was
 488    *  scanned until a section header with no section function, else 0.
 489    *
 490    *  Notes:  The input can be viewed in terms of 'lines'.  There are four
 491    *          types of lines:
 492    *            Blank      - May contain whitespace, otherwise empty.
 493    *            Comment    - First non-whitespace character is a ';' or '#'.
 494    *                         The remainder of the line is ignored.
 495    *            Section    - First non-whitespace character is a '['.
 496    *            Parameter  - The default case.
 497    *
 498    * ------------------------------------------------------------------------ **
 499    */
 500   {
 501   int    c;
 502
 503   c = EatWhitespace( InFile );
 504   while( (EOF != c) && (c > 0) )
 505     {
 506     switch( c )
 507       {
 508       case '\n':                        /* Blank line. */
 509         c = EatWhitespace( InFile );
 510         break;
 511
 512       case ';':                         /* Comment line. */
 513       case '#':
 514         c = EatComment( InFile );
 515         break;
 516
 517       case '[':                         /* Section Header. */
 518         if (!sfunc)
 519           return 2;
 520         if( !Section( InFile, sfunc ) )
 521           return 0;
 522         c = EatWhitespace( InFile );
 523         break;
 524
 525       case '\\':                        /* Bogus backslash. */
 526         c = EatWhitespace( InFile );
 527         break;
 528
 529       case '&':                         /* Handle directives */
 530         the_sfunc = sfunc;
 531         the_pfunc = pfunc;
 532         c = EatWhitespace( InFile );
 533         c = Parameter( InFile, parse_directives, c );
 534         if (c != 1)
 535           return c;
 536         c = EatWhitespace( InFile );
 537         break;
 538
 539       default:                          /* Parameter line. */
 540         if( !Parameter( InFile, pfunc, c ) )
 541           return 0;
 542         c = EatWhitespace( InFile );
 543         break;
 544       }
 545     }
 546   return 1;
 547   } /* Parse */
 548
 549 static FILE *OpenConfFile( char *FileName )
 550   /* ------------------------------------------------------------------------ **
 551    * Open a configuration file.
 552    *
 553    *  Input:  FileName  - The pathname of the config file to be opened.
 554    *
 555    *  Output: A pointer of type (FILE *) to the opened file, or NULL if the
 556    *          file could not be opened.
 557    *
 558    * ------------------------------------------------------------------------ **
 559    */
 560   {
 561   FILE *OpenedFile;
 562   char *func = "params.c:OpenConfFile() -";
 563
 564   if( NULL == FileName || 0 == *FileName )
 565     {
 566     rprintf(FLOG, "%s No configuration filename specified.\n", func);
 567     return( NULL );
 568     }
 569
 570   OpenedFile = fopen( FileName, "r" );
 571   if( NULL == OpenedFile )
 572     {
 573     rsyserr(FLOG, errno, "unable to open configuration file \"%s\"",
 574             FileName);
 575     }
 576
 577   return( OpenedFile );
 578   } /* OpenConfFile */
 579
 580 int pm_process( char *FileName,
 581                  BOOL (*sfunc)(char *),
 582                  BOOL (*pfunc)(char *, char *) )
 583   /* ------------------------------------------------------------------------ **
 584    * Process the named parameter file.
 585    *
 586    *  Input:  FileName  - The pathname of the parameter file to be opened.
 587    *          sfunc     - A pointer to a function that will be called when
 588    *                      a section name is discovered.
 589    *          pfunc     - A pointer to a function that will be called when
 590    *                      a parameter name and value are discovered.
 591    *
 592    *  Output: 1 if the file was successfully parsed, 2 if parsing ended at a
 593    *  section header w/o a section function, else 0.
 594    *
 595    * ------------------------------------------------------------------------ **
 596    */
 597   {
 598   int   result;
 599   FILE *InFile;
 600   char *func = "params.c:pm_process() -";
 601
 602   InFile = OpenConfFile( FileName );          /* Open the config file. */
 603   if( NULL == InFile )
 604     return( False );
 605
 606   if( NULL != bufr )                          /* If we already have a buffer */
 607     result = Parse( InFile, sfunc, pfunc );   /* (recursive call), then just */
 608                                               /* use it.                     */
 609
 610   else                                        /* If we don't have a buffer   */
 611     {                                         /* allocate one, then parse,   */
 612     bSize = BUFR_INC;                         /* then free.                  */
 613     bufr = new_array( char, bSize );
 614     if( NULL == bufr )
 615       {
 616       rprintf(FLOG, "%s memory allocation failure.\n", func);
 617       fclose(InFile);
 618       return( False );
 619       }
 620     result = Parse( InFile, sfunc, pfunc );
 621     free( bufr );
 622     bufr  = NULL;
 623     bSize = 0;
 624     }
 625
 626   fclose(InFile);
 627
 628   if( !result )                               /* Generic failure. */
 629     {
 630     rprintf(FLOG, "%s Failed.  Error returned from params.c:parse().\n", func);
 631     return 0;
 632     }
 633
 634   return result;
 635   } /* pm_process */
 636
 637 /* -------------------------------------------------------------------------- */
 638