src/KM_util.h

   1 /*
   2 Copyright (c) 2005-2015, John Hurst
   3 All rights reserved.
   4
   5 Redistribution and use in source and binary forms, with or without
   6 modification, are permitted provided that the following conditions
   7 are met:
   8 1. Redistributions of source code must retain the above copyright
   9    notice, this list of conditions and the following disclaimer.
  10 2. Redistributions in binary form must reproduce the above copyright
  11    notice, this list of conditions and the following disclaimer in the
  12    documentation and/or other materials provided with the distribution.
  13 3. The name of the author may not be used to endorse or promote products
  14    derived from this software without specific prior written permission.
  15
  16 THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND ANY EXPRESS OR
  17 IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
  18 OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
  19 IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR ANY DIRECT, INDIRECT,
  20 INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
  21 NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  22 DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  23 THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  24 (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
  25 THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  26 */
  27   /*! \file    KM_util.h
  28     \version $Id$
  29     \brief   Utility functions
  30   */
  31
  32 #ifndef _KM_UTIL_H_
  33 #define _KM_UTIL_H_
  34
  35 #include <KM_memio.h>
  36 #include <KM_error.h>
  37 #include <KM_tai.h>
  38 #include <string.h>
  39 #include <list>
  40
  41 namespace Kumu
  42 {
  43   // The version number declaration and explanation are in ../configure.ac
  44   const char* Version();
  45
  46   // a class that represents the string form of a value
  47   template <class T, int SIZE = 16>
  48     class IntPrinter : public std::string
  49   {
  50     KM_NO_COPY_CONSTRUCT(IntPrinter);
  51     IntPrinter();
  52
  53     protected:
  54     const char* m_format;
  55     char m_strbuf[SIZE];
  56
  57     public:
  58     IntPrinter(const char* format, T value) {
  59       assert(format);
  60       m_format = format;
  61       snprintf(m_strbuf, SIZE, m_format, value);
  62     }
  63
  64     inline operator const char*() { return m_strbuf; }
  65     inline const char* c_str() { return m_strbuf; }
  66     inline const char* set_value(T value) {
  67       snprintf(m_strbuf, SIZE, m_format, value);
  68       return m_strbuf;
  69     }
  70   };
  71
  72   struct i8Printer : public IntPrinter<i8_t> {
  73     i8Printer(i8_t value) : IntPrinter<i8_t>("%hd", value) {}
  74   };
  75
  76   struct ui8Printer : public IntPrinter<ui8_t> {
  77     ui8Printer(ui8_t value) : IntPrinter<ui8_t>("%hu", value) {}
  78   };
  79
  80   struct i16Printer : public IntPrinter<i16_t> {
  81     i16Printer(i16_t value) : IntPrinter<i16_t>("%hd", value) {}
  82   };
  83
  84   struct ui16Printer : public IntPrinter<ui16_t> {
  85     ui16Printer(ui16_t value) : IntPrinter<ui16_t>("%hu", value) {}
  86   };
  87
  88   struct i32Printer : public IntPrinter<i32_t> {
  89     i32Printer(i32_t value) : IntPrinter<i32_t>("%d", value) {}
  90   };
  91
  92   struct ui32Printer : public IntPrinter<ui32_t> {
  93     ui32Printer(ui32_t value) : IntPrinter<ui32_t>("%u", value) {}
  94   };
  95
  96 #ifdef KM_WIN32
  97   struct i64Printer : public IntPrinter<i64_t, 32> {
  98     i64Printer(i64_t value) : IntPrinter<i64_t, 32>("%I64d", value) {}
  99   };
 100
 101   struct ui64Printer : public IntPrinter<ui64_t, 32> {
 102     ui64Printer(ui64_t value) : IntPrinter<ui64_t, 32>("%I64u", value) {}
 103   };
 104 #else
 105   struct i64Printer : public IntPrinter<i64_t, 32> {
 106     i64Printer(i64_t value) : IntPrinter<i64_t, 32>("%qd", value) {}
 107   };
 108
 109   struct ui64Printer : public IntPrinter<ui64_t, 32> {
 110     ui64Printer(ui64_t value) : IntPrinter<ui64_t, 32>("%qu", value) {}
 111   };
 112 #endif
 113
 114   // Convert NULL-terminated UTF-8 hexadecimal string to binary, returns 0 if
 115   // the binary buffer was large enough to hold the result. The output parameter
 116   // 'char_count' will contain the length of the converted string. If the output
 117   // buffer is too small or any of the pointer arguments are NULL, the subroutine
 118   // will return -1 and set 'char_count' to the required buffer size. No data will
 119   // be written to 'buf' if the subroutine fails.
 120   i32_t       hex2bin(const char* str, byte_t* buf, ui32_t buf_len, ui32_t* char_count);
 121
 122   // Convert a binary string to NULL-terminated UTF-8 hexadecimal, returns the buffer
 123   // if the output buffer was large enough to hold the result. If the output buffer
 124   // is too small or any of the pointer arguments are NULL, the subroutine will
 125   // return 0.
 126   //
 127   const char* bin2hex(const byte_t* bin_buf, ui32_t bin_len, char* str_buf, ui32_t str_len);
 128
 129   const char* bin2UUIDhex(const byte_t* bin_buf, ui32_t bin_len, char* str_buf, ui32_t str_len);
 130
 131   // same as above for base64 text
 132   i32_t       base64decode(const char* str, byte_t* buf, ui32_t buf_len, ui32_t* char_count);
 133   const char* base64encode(const byte_t* bin_buf, ui32_t bin_len, char* str_buf, ui32_t str_len);
 134
 135   // returns the length of a Base64 encoding of a buffer of the given length
 136   inline ui32_t base64_encode_length(ui32_t length) {
 137     while ( ( length % 3 ) != 0 )
 138       length++;
 139
 140     return ( length / 3 ) * 4;
 141   }
 142
 143   // print buffer contents to a stream as hexadecimal values in numbered
 144   // rows of 16-bytes each.
 145   //
 146   void hexdump(const byte_t* buf, ui32_t dump_len, FILE* stream = 0);
 147
 148   // Return the length in bytes of a BER encoded value
 149   inline ui32_t BER_length(const byte_t* buf)
 150     {
 151       if ( buf == 0 || (*buf & 0xf0) != 0x80 )
 152         return 0;
 153
 154       return (*buf & 0x0f) + 1;
 155     }
 156
 157   // Return the BER length required to encode value. A return value of zero
 158   // indicates a value too large for this library.
 159   ui32_t get_BER_length_for_value(ui64_t valuse);
 160
 161   // read a BER value
 162   bool read_BER(const byte_t* buf, ui64_t* val);
 163
 164   // decode a ber value and compare it to a test value
 165   bool read_test_BER(byte_t **buf, ui64_t test_value);
 166
 167   // create BER encoding of integer value
 168   bool write_BER(byte_t* buf, ui64_t val, ui32_t ber_len = 0);
 169
 170   //----------------------------------------------------------------
 171   //
 172
 173   // an abstract base class that objects implement to serialize state
 174   // to and from a binary stream.
 175   class IArchive
 176     {
 177     public:
 178       virtual ~IArchive(){}
 179       virtual bool   HasValue() const = 0;
 180       virtual ui32_t ArchiveLength() const = 0;
 181       virtual bool   Archive(MemIOWriter* Writer) const = 0;
 182       virtual bool   Unarchive(MemIOReader* Reader) = 0;
 183     };
 184
 185   //
 186   template <class T>
 187   class ArchivableList : public std::list<T>, public IArchive
 188     {
 189     public:
 190       ArchivableList() {}
 191       virtual ~ArchivableList() {}
 192
 193       bool HasValue() const { return ! this->empty(); }
 194
 195       ui32_t ArchiveLength() const
 196       {
 197         ui32_t arch_size = sizeof(ui32_t);
 198
 199         typename ArchivableList<T>::const_iterator i = this->begin();
 200         for ( ; i != this->end(); i++ )
 201           arch_size += i->ArchiveLength();
 202
 203         return arch_size;
 204       }
 205
 206       bool Unarchive(Kumu::MemIOReader* Reader)
 207         {
 208           if ( Reader == 0 ) return false;
 209           ui32_t read_size = 0;
 210           if ( ! Reader->ReadUi32BE(&read_size) ) return false;
 211           for ( ui32_t i = 0; i < read_size; i++ )
 212             {
 213               T TmpTP;
 214               if ( ! TmpTP.Unarchive(Reader) ) return false;
 215               this->push_back(TmpTP);
 216             }
 217
 218           return true;
 219         }
 220
 221       bool Archive(Kumu::MemIOWriter* Writer) const
 222         {
 223           if ( Writer == 0 ) return false;
 224           if ( ! Writer->WriteUi32BE(static_cast<ui32_t>(this->size())) ) return false;
 225           typename ArchivableList<T>::const_iterator i = this->begin();
 226           for ( ; i != this->end(); i++ )
 227             if ( ! i->Archive(Writer) ) return false;
 228
 229           return true;
 230         }
 231     };
 232
 233   // archivable version of std::string
 234
 235   //
 236   class ArchivableString : public std::string, public Kumu::IArchive
 237     {
 238
 239     public:
 240       ArchivableString() {}
 241       ArchivableString(const char* sz) : std::string(sz) {}
 242       ArchivableString(const std::string& s) : std::string(s) {}
 243       virtual ~ArchivableString() {}
 244
 245       bool   HasValue() const { return ! this->empty(); }
 246       ui32_t ArchiveLength() const { return sizeof(ui32_t) + static_cast<ui32_t>(this->size()); }
 247
 248       bool   Archive(MemIOWriter* Writer) const {
 249         if ( Writer == 0 ) return false;
 250         return Writer->WriteString(*this);
 251       }
 252
 253       bool   Unarchive(MemIOReader* Reader) {
 254         if ( Reader == 0 ) return false;
 255         return Reader->ReadString(*this);
 256       }
 257     };
 258
 259   //
 260   typedef Kumu::ArchivableList<ArchivableString> StringList;
 261
 262   //
 263   // the base of all identifier classes, Identifier is not usually used directly
 264   // see UUID and SymmetricKey below for more detail.
 265   //
 266   template <ui32_t SIZE>
 267     class Identifier : public IArchive
 268     {
 269     protected:
 270       bool   m_HasValue;
 271       byte_t m_Value[SIZE];
 272
 273     public:
 274       Identifier() : m_HasValue(false) { memset(m_Value, 0, SIZE); }
 275       Identifier(const byte_t* value) : m_HasValue(true) { memcpy(m_Value, value, SIZE); }
 276       Identifier(const Identifier& rhs) : IArchive() {
 277         m_HasValue = rhs.m_HasValue;
 278         memcpy(m_Value, rhs.m_Value, SIZE);
 279       }
 280
 281       virtual ~Identifier() {}
 282
 283       const Identifier& operator=(const Identifier& rhs) {
 284         m_HasValue = rhs.m_HasValue;
 285         memcpy(m_Value, rhs.m_Value, SIZE);
 286         return *this;
 287       }
 288
 289       inline void Set(const byte_t* value) { m_HasValue = true; memcpy(m_Value, value, SIZE); }
 290       inline void Reset() { m_HasValue = false; memset(m_Value, 0, SIZE); }
 291       inline const byte_t* Value() const { return m_Value; }
 292       inline ui32_t Size() const { return SIZE; }
 293
 294       inline bool operator<(const Identifier& rhs) const {
 295         ui32_t test_size = xmin(rhs.Size(), SIZE);
 296
 297         for ( ui32_t i = 0; i < test_size; i++ )
 298           {
 299             if ( m_Value[i] != rhs.m_Value[i] )
 300               return m_Value[i] < rhs.m_Value[i];
 301           }
 302
 303         return false;
 304       }
 305
 306       inline bool operator>(const Identifier& rhs) const {
 307         ui32_t test_size = xmin(rhs.Size(), SIZE);
 308
 309         for ( ui32_t i = 0; i < test_size; i++ )
 310           {
 311             if ( m_Value[i] != rhs.m_Value[i] )
 312               return m_Value[i] > rhs.m_Value[i];
 313           }
 314
 315         return false;
 316       }
 317
 318       inline bool operator==(const Identifier& rhs) const {
 319         if ( rhs.Size() != SIZE ) return false;
 320         return ( memcmp(m_Value, rhs.m_Value, SIZE) == 0 );
 321       }
 322
 323       inline bool operator!=(const Identifier& rhs) const {
 324         if ( rhs.Size() != SIZE ) return true;
 325         return ( memcmp(m_Value, rhs.m_Value, SIZE) != 0 );
 326       }
 327
 328       inline bool DecodeHex(const char* str) {
 329         ui32_t char_count;
 330         m_HasValue = ( hex2bin(str, m_Value, SIZE, &char_count) == 0 );
 331         if ( m_HasValue && char_count != SIZE )
 332           m_HasValue = false;
 333         return m_HasValue;
 334       }
 335
 336       inline const char* EncodeHex(char* buf, ui32_t buf_len) const {
 337         return bin2hex(m_Value, SIZE, buf, buf_len);
 338       }
 339
 340       inline const char* EncodeString(char* str_buf, ui32_t buf_len) const {
 341         return EncodeHex(str_buf, buf_len);
 342       }
 343
 344       inline bool DecodeBase64(const char* str) {
 345         ui32_t char_count;
 346         m_HasValue = ( base64decode(str, m_Value, SIZE, &char_count) == 0 );
 347         if ( m_HasValue && char_count != SIZE )
 348           m_HasValue = false;
 349         return m_HasValue;
 350       }
 351
 352       inline const char* EncodeBase64(char* buf, ui32_t buf_len) const {
 353         return base64encode(m_Value, SIZE, buf, buf_len);
 354       }
 355
 356       inline bool HasValue() const { return m_HasValue; }
 357
 358       inline ui32_t ArchiveLength() const { return SIZE; }
 359
 360       inline bool Unarchive(Kumu::MemIOReader* Reader) {
 361         m_HasValue = Reader->ReadRaw(m_Value, SIZE);
 362         return m_HasValue;
 363       }
 364
 365       inline bool Archive(Kumu::MemIOWriter* Writer) const {
 366         return Writer->WriteRaw(m_Value, SIZE);
 367       }
 368     };
 369
 370
 371   // UUID
 372   //
 373   const ui32_t UUID_Length = 16;
 374   class UUID : public Identifier<UUID_Length>
 375     {
 376     public:
 377       UUID() {}
 378       UUID(const byte_t* value) : Identifier<UUID_Length>(value) {}
 379       UUID(const UUID& rhs) : Identifier<UUID_Length>(rhs) {}
 380       virtual ~UUID() {}
 381
 382       inline const char* EncodeString(char* buf, ui32_t buf_len) const {
 383         return bin2UUIDhex(m_Value, Size(), buf, buf_len);
 384       }
 385
 386       inline const char* EncodeHex(char* buf, ui32_t buf_len) const {
 387         return bin2UUIDhex(m_Value, Size(), buf, buf_len);
 388       }
 389     };
 390
 391   void GenRandomUUID(byte_t* buf); // buf must be UUID_Length or longer
 392   void GenRandomValue(UUID&);
 393
 394   typedef ArchivableList<UUID> UUIDList;
 395
 396   // a self-wiping key container
 397   //
 398   const ui32_t SymmetricKey_Length = 16;
 399   const byte_t NilKey[SymmetricKey_Length] = {
 400     0xfa, 0xce, 0xfa, 0xce, 0xfa, 0xce, 0xfa, 0xce,
 401     0xfa, 0xce, 0xfa, 0xce, 0xfa, 0xce, 0xfa, 0xce
 402   };
 403
 404   class SymmetricKey : public Identifier<SymmetricKey_Length>
 405     {
 406     public:
 407       SymmetricKey() {}
 408       SymmetricKey(const byte_t* value) : Identifier<SymmetricKey_Length>(value) {}
 409       SymmetricKey(const UUID& rhs) : Identifier<SymmetricKey_Length>(rhs) {}
 410       virtual ~SymmetricKey() { memcpy(m_Value, NilKey, 16); m_HasValue = false; }
 411     };
 412
 413   void GenRandomValue(SymmetricKey&);
 414
 415   //
 416   // 2004-05-01T13:20:00+00:00
 417   const ui32_t DateTimeLen = 25; //  the number of chars in the xs:dateTime format (sans milliseconds)
 418
 419   // UTC time+date representation
 420   class Timestamp : public IArchive
 421     {
 422       TAI::tai m_Timestamp; // always UTC
 423       i32_t m_TZOffsetMinutes;
 424
 425    public:
 426       Timestamp();
 427       Timestamp(const Timestamp& rhs);
 428       Timestamp(const char* datestr);
 429       Timestamp(const ui16_t& Year, const ui8_t&  Month, const ui8_t&  Day);
 430       Timestamp(const ui16_t& Year, const ui8_t&  Month, const ui8_t&  Day,
 431                 const ui8_t&  Hour, const ui8_t&  Minute, const ui8_t&  Second);
 432       virtual ~Timestamp();
 433
 434       const Timestamp& operator=(const Timestamp& rhs);
 435       bool operator<(const Timestamp& rhs) const;
 436       bool operator>(const Timestamp& rhs) const;
 437       bool operator==(const Timestamp& rhs) const;
 438       bool operator!=(const Timestamp& rhs) const;
 439
 440       // always UTC
 441       void GetComponents(ui16_t& Year, ui8_t&  Month, ui8_t&  Day,
 442                          ui8_t&  Hour, ui8_t&  Minute, ui8_t&  Second) const;
 443       void SetComponents(const ui16_t& Year, const ui8_t&  Month, const ui8_t&  Day,
 444                          const ui8_t&  Hour, const ui8_t&  Minute, const ui8_t&  Second);
 445
 446       // Write the timestamp value to the given buffer in the form 2004-05-01T13:20:00+00:00
 447       // returns 0 if the buffer is smaller than DateTimeLen
 448       const char* EncodeString(char* str_buf, ui32_t buf_len) const;
 449
 450       // decode and set value from string formatted by EncodeString
 451       bool        DecodeString(const char* datestr);
 452
 453       // Add the given number of days, hours, minutes, or seconds to the timestamp value.
 454       // Values less than zero will cause the timestamp to decrease
 455       inline void AddDays(const i32_t& d) { m_Timestamp.add_days(d); }
 456       inline  void AddHours(const i32_t& h) { m_Timestamp.add_hours(h); }
 457       inline  void AddMinutes(const i32_t& m) { m_Timestamp.add_minutes(m); }
 458       inline  void AddSeconds(const i32_t& s) { m_Timestamp.add_seconds(s); }
 459
 460       // returns false if the requested adjustment is out of range
 461       bool SetTZOffsetMinutes(const i32_t& minutes);
 462       inline i32_t GetTZOffsetMinutes() const { return m_TZOffsetMinutes; }
 463
 464       // Return the number of seconds since the Unix epoch UTC (1970-01-01T00:00:00+00:00)
 465       ui64_t GetCTime() const;
 466
 467       // Set internal time to the number of seconds since the Unix epoch UTC
 468       void SetCTime(const ui64_t& ctime);
 469
 470       // Read and write the timestamp (always UTC) value as a byte string having
 471       // the following format:
 472       // | 16 bits int, big-endian |    8 bits   |   8 bits  |   8 bits   |    8 bits    |    8 bits    |
 473       // |        Year A.D         | Month(1-12) | Day(1-31) | Hour(0-23) | Minute(0-59) | Second(0-59) |
 474       //
 475       virtual bool   HasValue() const;
 476       virtual ui32_t ArchiveLength() const { return 8L; }
 477       virtual bool   Archive(MemIOWriter* Writer) const;
 478       virtual bool   Unarchive(MemIOReader* Reader);
 479     };
 480
 481   //
 482   class ByteString : public IArchive
 483     {
 484       KM_NO_COPY_CONSTRUCT(ByteString);
 485
 486     protected:
 487       byte_t* m_Data;          // pointer to memory area containing frame data
 488       ui32_t  m_Capacity;      // size of memory area pointed to by m_Data
 489       ui32_t  m_Length;        // length of byte string in memory area pointed to by m_Data
 490
 491     public:
 492       ByteString();
 493       ByteString(ui32_t cap);
 494       virtual ~ByteString();
 495
 496       // Sets or resets the size of the internally allocated buffer.
 497       Result_t Capacity(ui32_t cap);
 498
 499       Result_t Append(const ByteString&);
 500       Result_t Append(const byte_t* buf, ui32_t buf_len);
 501
 502       // returns the size of the buffer
 503       inline ui32_t  Capacity() const { return m_Capacity; }
 504
 505       // returns a const pointer to the essence data
 506       inline const byte_t* RoData() const { assert(m_Data); return m_Data; }
 507
 508       // returns a non-const pointer to the essence data
 509       inline byte_t* Data() { assert(m_Data); return m_Data; }
 510
 511       // set the length of the buffer's contents
 512       inline ui32_t  Length(ui32_t l) { return m_Length = l; }
 513
 514       // returns the length of the buffer's contents
 515       inline ui32_t  Length() const { return m_Length; }
 516
 517       // copy the given data into the ByteString, set Length value.
 518       // Returns error if the ByteString is too small.
 519       Result_t Set(const byte_t* buf, ui32_t buf_len);
 520       Result_t Set(const ByteString& Buf);
 521
 522       inline virtual bool HasValue() const { return m_Length > 0; }
 523
 524       inline virtual ui32_t ArchiveLength() const { return sizeof(ui32_t) + m_Length; }
 525
 526       inline virtual bool Archive(MemIOWriter* Writer) const {
 527         assert(Writer);
 528         if ( ! Writer->WriteUi32BE(m_Length) ) return false;
 529         if ( ! Writer->WriteRaw(m_Data, m_Length) ) return false;
 530         return true;
 531       }
 532
 533       inline virtual bool Unarchive(MemIOReader* Reader) {
 534         assert(Reader);
 535         ui32_t tmp_len;
 536         if ( ! Reader->ReadUi32BE(&tmp_len) ) return false;
 537         if ( KM_FAILURE(Capacity(tmp_len)) ) return false;
 538         if ( ! Reader->ReadRaw(m_Data, tmp_len) ) return false;
 539         m_Length = tmp_len;
 540         return true;
 541       }
 542     };
 543
 544   inline void hexdump(const ByteString& buf, FILE* stream = 0) {
 545     hexdump(buf.RoData(), buf.Length(), stream);
 546   }
 547
 548   // Locates the first occurrence of the null-terminated string s2 in the string s1, where not more
 549   // than n characters are searched.  Characters that appear after a `\0' character are not searched.
 550   // Reproduced here from BSD for portability.
 551   const char *km_strnstr(const char *s1, const char *s2, size_t n);
 552
 553   // Split the input string into tokens using the given separator. If the separator is not found the
 554   // entire string will be returned as a single-item list.  Empty items will be recorded for
 555   // adjacent instances of the separator. E.g., "/foo//bar/" will return ["", "foo", "", "bar", ""].
 556   std::list<std::string> km_token_split(const std::string& str, const std::string& separator);
 557
 558   // Join the tokens in the given list using delimiter. If prefix is defined then each token
 559   // will be concatenated with the prefix before being added to the composite string.
 560   template <class T>
 561     std::string
 562     km_join(const T& list, const std::string& delimiter, const std::string& prefix = "")
 563     {
 564       std::string result;
 565
 566       for ( typename T::const_iterator i = list.begin(); i != list.end(); ++i )
 567         {
 568           if ( i != list.begin() )
 569             {
 570               result += delimiter;
 571             }
 572
 573           result += prefix + *i;
 574         }
 575
 576       return result;
 577     }
 578
 579 } // namespace Kumu
 580
 581
 582 #endif // _KM_UTIL_H_
 583
 584 //
 585 // end KM_util.h
 586 //