src/util.cc

   1 /*
   2     Copyright (C) 2012 Carl Hetherington <cth@carlh.net>
   3
   4     This program is free software; you can redistribute it and/or modify
   5     it under the terms of the GNU General Public License as published by
   6     the Free Software Foundation; either version 2 of the License, or
   7     (at your option) any later version.
   8
   9     This program is distributed in the hope that it will be useful,
  10     but WITHOUT ANY WARRANTY; without even the implied warranty of
  11     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12     GNU General Public License for more details.
  13
  14     You should have received a copy of the GNU General Public License
  15     along with this program; if not, write to the Free Software
  16     Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  17
  18 */
  19
  20 /** @file  src/util.cc
  21  *  @brief Utility methods.
  22  */
  23
  24 #include <stdexcept>
  25 #include <sstream>
  26 #include <iostream>
  27 #include <iomanip>
  28 #include <boost/filesystem.hpp>
  29 #include <boost/lexical_cast.hpp>
  30 #include <openssl/sha.h>
  31 #include <libxml++/nodes/element.h>
  32 #include <libxml++/document.h>
  33 #include <xmlsec/xmldsig.h>
  34 #include <xmlsec/dl.h>
  35 #include <xmlsec/app.h>
  36 #include "KM_util.h"
  37 #include "KM_fileio.h"
  38 #include "AS_DCP.h"
  39 #include "util.h"
  40 #include "exceptions.h"
  41 #include "types.h"
  42 #include "argb_frame.h"
  43 #include "certificates.h"
  44 #include "gamma_lut.h"
  45 #include "xyz_frame.h"
  46
  47 using std::string;
  48 using std::cout;
  49 using std::stringstream;
  50 using std::min;
  51 using std::max;
  52 using std::list;
  53 using std::setw;
  54 using std::setfill;
  55 using boost::shared_ptr;
  56 using boost::lexical_cast;
  57 using namespace libdcp;
  58
  59 /** Create a UUID.
  60  *  @return UUID.
  61  */
  62 string
  63 libdcp::make_uuid ()
  64 {
  65         char buffer[64];
  66         Kumu::UUID id;
  67         Kumu::GenRandomValue (id);
  68         id.EncodeHex (buffer, 64);
  69         return string (buffer);
  70 }
  71
  72
  73 /** Create a digest for a file.
  74  *  @param filename File name.
  75  *  @param progress Pointer to a progress reporting function, or 0.  The function will be called
  76  *  with a progress value between 0 and 1.
  77  *  @return Digest.
  78  */
  79 string
  80 libdcp::make_digest (string filename, boost::function<void (float)>* progress)
  81 {
  82         Kumu::FileReader reader;
  83         if (ASDCP_FAILURE (reader.OpenRead (filename.c_str ()))) {
  84                 boost::throw_exception (FileError ("could not open file to compute digest", filename));
  85         }
  86
  87         SHA_CTX sha;
  88         SHA1_Init (&sha);
  89
  90         int const buffer_size = 65536;
  91         Kumu::ByteString read_buffer (buffer_size);
  92
  93         Kumu::fsize_t done = 0;
  94         Kumu::fsize_t const size = reader.Size ();
  95         while (1) {
  96                 ui32_t read = 0;
  97                 Kumu::Result_t r = reader.Read (read_buffer.Data(), read_buffer.Capacity(), &read);
  98
  99                 if (r == Kumu::RESULT_ENDOFFILE) {
 100                         break;
 101                 } else if (ASDCP_FAILURE (r)) {
 102                         boost::throw_exception (FileError ("could not read file to compute digest", filename));
 103                 }
 104
 105                 SHA1_Update (&sha, read_buffer.Data(), read);
 106
 107                 if (progress) {
 108                         (*progress) (float (done) / size);
 109                         done += read;
 110                 }
 111         }
 112
 113         byte_t byte_buffer[20];
 114         SHA1_Final (byte_buffer, &sha);
 115
 116         char digest[64];
 117         return Kumu::base64encode (byte_buffer, 20, digest, 64);
 118 }
 119
 120 /** Convert a content kind to a string which can be used in a
 121  *  <ContentKind> node.
 122  *  @param kind ContentKind.
 123  *  @return string.
 124  */
 125 string
 126 libdcp::content_kind_to_string (ContentKind kind)
 127 {
 128         switch (kind) {
 129         case FEATURE:
 130                 return "feature";
 131         case SHORT:
 132                 return "short";
 133         case TRAILER:
 134                 return "trailer";
 135         case TEST:
 136                 return "test";
 137         case TRANSITIONAL:
 138                 return "transitional";
 139         case RATING:
 140                 return "rating";
 141         case TEASER:
 142                 return "teaser";
 143         case POLICY:
 144                 return "policy";
 145         case PUBLIC_SERVICE_ANNOUNCEMENT:
 146                 return "psa";
 147         case ADVERTISEMENT:
 148                 return "advertisement";
 149         }
 150
 151         assert (false);
 152 }
 153
 154 /** Convert a string from a <ContentKind> node to a libdcp ContentKind.
 155  *  Reasonably tolerant about varying case.
 156  *  @param type Content kind string.
 157  *  @return libdcp ContentKind.
 158  */
 159 libdcp::ContentKind
 160 libdcp::content_kind_from_string (string type)
 161 {
 162         /* XXX: should probably just convert type to lower-case and have done with it */
 163
 164         if (type == "feature") {
 165                 return FEATURE;
 166         } else if (type == "short") {
 167                 return SHORT;
 168         } else if (type == "trailer" || type == "Trailer") {
 169                 return TRAILER;
 170         } else if (type == "test") {
 171                 return TEST;
 172         } else if (type == "transitional") {
 173                 return TRANSITIONAL;
 174         } else if (type == "rating") {
 175                 return RATING;
 176         } else if (type == "teaser" || type == "Teaser") {
 177                 return TEASER;
 178         } else if (type == "policy") {
 179                 return POLICY;
 180         } else if (type == "psa") {
 181                 return PUBLIC_SERVICE_ANNOUNCEMENT;
 182         } else if (type == "advertisement") {
 183                 return ADVERTISEMENT;
 184         }
 185
 186         assert (false);
 187 }
 188
 189 /** Decompress a JPEG2000 image to a bitmap.
 190  *  @param data JPEG2000 data.
 191  *  @param size Size of data in bytes.
 192  *  @param reduce A power of 2 by which to reduce the size of the decoded image;
 193  *  e.g. 0 reduces by (2^0 == 1), ie keeping the same size.
 194  *       1 reduces by (2^1 == 2), ie halving the size of the image.
 195  *  This is useful for scaling 4K DCP images down to 2K.
 196  *  @return XYZ image.
 197  */
 198 shared_ptr<libdcp::XYZFrame>
 199 libdcp::decompress_j2k (uint8_t* data, int64_t size, int reduce)
 200 {
 201         opj_dinfo_t* decoder = opj_create_decompress (CODEC_J2K);
 202         opj_dparameters_t parameters;
 203         opj_set_default_decoder_parameters (&parameters);
 204         parameters.cp_reduce = reduce;
 205         opj_setup_decoder (decoder, &parameters);
 206         opj_cio_t* cio = opj_cio_open ((opj_common_ptr) decoder, data, size);
 207         opj_image_t* image = opj_decode (decoder, cio);
 208         if (!image) {
 209                 opj_destroy_decompress (decoder);
 210                 opj_cio_close (cio);
 211                 boost::throw_exception (DCPReadError ("could not decode JPEG2000 codestream of " + lexical_cast<string> (size) + " bytes."));
 212         }
 213
 214         opj_cio_close (cio);
 215
 216         image->x1 = rint (float(image->x1) / pow (2, reduce));
 217         image->y1 = rint (float(image->y1) / pow (2, reduce));
 218         return shared_ptr<XYZFrame> (new XYZFrame (image));
 219 }
 220
 221 /** @param s A string.
 222  *  @return true if the string contains only space, newline or tab characters, or is empty.
 223  */
 224 bool
 225 libdcp::empty_or_white_space (string s)
 226 {
 227         for (size_t i = 0; i < s.length(); ++i) {
 228                 if (s[i] != ' ' && s[i] != '\n' && s[i] != '\t') {
 229                         return false;
 230                 }
 231         }
 232
 233         return true;
 234 }
 235
 236 void
 237 libdcp::init ()
 238 {
 239         if (xmlSecInit() < 0) {
 240                 throw MiscError ("could not initialise xmlsec");
 241         }
 242
 243 #ifdef XMLSEC_CRYPTO_DYNAMIC_LOADING
 244         if (xmlSecCryptoDLLoadLibrary(BAD_CAST XMLSEC_CRYPTO) < 0) {
 245                 throw MiscError ("unable to load default xmlsec-crypto library");
 246         }
 247 #endif
 248
 249         if (xmlSecCryptoAppInit(0) < 0) {
 250                 throw MiscError ("could not initialise crypto");
 251         }
 252
 253         if (xmlSecCryptoInit() < 0) {
 254                 throw MiscError ("could not initialise xmlsec-crypto");
 255         }
 256 }
 257
 258 /** Sign an XML node.  This function takes a certificate chain (to prove that the sender is bona fide) and
 259  *  a private key with which to sign the node.
 260  *
 261  *  @param parent Node to sign.
 262  *  @param certificates Certificate chain for the signer.
 263  *  @param signer_key Filename of the private key of the signer.
 264  *  @param ns Namespace to use for the signature XML nodes.
 265  */
 266 void
 267 libdcp::add_signature_value (xmlpp::Element* parent, CertificateChain const & certificates, boost::filesystem::path signer_key, string const & ns)
 268 {
 269         parent->add_child("SignatureValue", ns);
 270
 271         /* Add the certificate chain to a KeyInfo child node of parent */
 272         xmlpp::Element* key_info = parent->add_child("KeyInfo", ns);
 273         list<shared_ptr<Certificate> > c = certificates.leaf_to_root ();
 274         for (list<shared_ptr<Certificate> >::iterator i = c.begin(); i != c.end(); ++i) {
 275                 xmlpp::Element* data = key_info->add_child("X509Data", ns);
 276
 277                 {
 278                         xmlpp::Element* serial = data->add_child("X509IssuerSerial", ns);
 279                         serial->add_child("X509IssuerName", ns)->add_child_text((*i)->issuer ());
 280                         serial->add_child("X509SerialNumber", ns)->add_child_text((*i)->serial ());
 281                 }
 282
 283                 data->add_child("X509Certificate", ns)->add_child_text((*i)->certificate());
 284         }
 285
 286         xmlSecDSigCtxPtr signature_context = xmlSecDSigCtxCreate (0);
 287         if (signature_context == 0) {
 288                 throw MiscError ("could not create signature context");
 289         }
 290
 291         signature_context->signKey = xmlSecCryptoAppKeyLoad (signer_key.c_str(), xmlSecKeyDataFormatPem, 0, 0, 0);
 292         if (signature_context->signKey == 0) {
 293                 throw FileError ("could not load private key file", signer_key);
 294         }
 295
 296         /* XXX: set key name to the file name: is this right? */
 297         if (xmlSecKeySetName (signature_context->signKey, reinterpret_cast<const xmlChar *> (signer_key.c_str())) < 0) {
 298                 throw MiscError ("could not set key name");
 299         }
 300
 301         if (xmlSecDSigCtxSign (signature_context, parent->cobj ()) < 0) {
 302                 throw MiscError ("could not sign");
 303         }
 304
 305         xmlSecDSigCtxDestroy (signature_context);
 306 }
 307
 308
 309 void
 310 libdcp::add_signer (xmlpp::Element* parent, CertificateChain const & certificates, string const & ns)
 311 {
 312         xmlpp::Element* signer = parent->add_child("Signer");
 313
 314         {
 315                 xmlpp::Element* data = signer->add_child("X509Data", ns);
 316
 317                 {
 318                         xmlpp::Element* serial_element = data->add_child("X509IssuerSerial", ns);
 319                         serial_element->add_child("X509IssuerName", ns)->add_child_text (certificates.leaf()->issuer());
 320                         serial_element->add_child("X509SerialNumber", ns)->add_child_text (certificates.leaf()->serial());
 321                 }
 322
 323                 data->add_child("X509SubjectName", ns)->add_child_text (certificates.leaf()->subject());
 324         }
 325 }
 326
 327 /** @param signer_key Filename of private key to sign with */
 328 void
 329 libdcp::sign (xmlpp::Element* parent, CertificateChain const & certificates, boost::filesystem::path signer_key, bool interop)
 330 {
 331         add_signer (parent, certificates, "dsig");
 332
 333         xmlpp::Element* signature = parent->add_child("Signature", "dsig");
 334
 335         {
 336                 xmlpp::Element* signed_info = signature->add_child ("SignedInfo", "dsig");
 337                 signed_info->add_child("CanonicalizationMethod", "dsig")->set_attribute ("Algorithm", "http://www.w3.org/TR/2001/REC-xml-c14n-20010315");
 338
 339                 if (interop) {
 340                         signed_info->add_child("SignatureMethod", "dsig")->set_attribute("Algorithm", "http://www.w3.org/2000/09/xmldsig#rsa-sha1");
 341                 } else {
 342                         signed_info->add_child("SignatureMethod", "dsig")->set_attribute("Algorithm", "http://www.w3.org/2001/04/xmldsig-more#rsa-sha256");
 343                 }
 344
 345                 {
 346                         xmlpp::Element* reference = signed_info->add_child("Reference", "dsig");
 347                         reference->set_attribute ("URI", "");
 348                         {
 349                                 xmlpp::Element* transforms = reference->add_child("Transforms", "dsig");
 350                                 transforms->add_child("Transform", "dsig")->set_attribute (
 351                                         "Algorithm", "http://www.w3.org/2000/09/xmldsig#enveloped-signature"
 352                                         );
 353                         }
 354                         reference->add_child("DigestMethod", "dsig")->set_attribute("Algorithm", "http://www.w3.org/2000/09/xmldsig#sha1");
 355                         /* This will be filled in by the signing later */
 356                         reference->add_child("DigestValue", "dsig");
 357                 }
 358         }
 359
 360         add_signature_value (signature, certificates, signer_key, "dsig");
 361 }
 362
 363 bool libdcp::operator== (libdcp::Size const & a, libdcp::Size const & b)
 364 {
 365         return (a.width == b.width && a.height == b.height);
 366 }
 367
 368 bool libdcp::operator!= (libdcp::Size const & a, libdcp::Size const & b)
 369 {
 370         return !(a == b);
 371 }
 372
 373 /** The base64 decode routine in KM_util.cpp gives different values to both
 374  *  this and the command-line base64 for some inputs.  Not sure why.
 375  */
 376 int
 377 libdcp::base64_decode (string const & in, unsigned char* out, int out_length)
 378 {
 379         BIO* b64 = BIO_new (BIO_f_base64 ());
 380
 381         /* This means the input should have no newlines */
 382         BIO_set_flags (b64, BIO_FLAGS_BASE64_NO_NL);
 383
 384         /* Copy our input string, removing newlines */
 385         char in_buffer[in.size() + 1];
 386         char* p = in_buffer;
 387         for (size_t i = 0; i < in.size(); ++i) {
 388                 if (in[i] != '\n' && in[i] != '\r') {
 389                         *p++ = in[i];
 390                 }
 391         }
 392
 393         BIO* bmem = BIO_new_mem_buf (in_buffer, p - in_buffer);
 394         bmem = BIO_push (b64, bmem);
 395         int const N = BIO_read (bmem, out, out_length);
 396         BIO_free_all (bmem);
 397
 398         return N;
 399 }
 400
 401 string
 402 libdcp::tm_to_string (struct tm* tm)
 403 {
 404         char buffer[64];
 405         strftime (buffer, 64, "%Y-%m-%dT%I:%M:%S", tm);
 406
 407         int offset = 0;
 408
 409 #ifdef LIBDCP_POSIX
 410         offset = tm->tm_gmtoff / 60;
 411 #else
 412         TIME_ZONE_INFORMATION tz;
 413         GetTimeZoneInformation (&tz);
 414         offset = tz.Bias;
 415 #endif
 416
 417         return string (buffer) + utc_offset_to_string (offset);
 418 }
 419
 420 /** @param b Offset from UTC to local time in minutes.
 421  *  @return string of the form e.g. -01:00.
 422  */
 423 string
 424 libdcp::utc_offset_to_string (int b)
 425 {
 426         bool const negative = (b < 0);
 427         b = negative ? -b : b;
 428
 429         int const hours = b / 60;
 430         int const minutes = b % 60;
 431
 432         stringstream o;
 433         if (negative) {
 434                 o << "-";
 435         } else {
 436                 o << "+";
 437         }
 438
 439         o << setw(2) << setfill('0') << hours << ":" << setw(2) << setfill('0') << minutes;
 440         return o.str ();
 441 }
 442
 443 string
 444 libdcp::ptime_to_string (boost::posix_time::ptime t)
 445 {
 446         struct tm t_tm = boost::posix_time::to_tm (t);
 447         return tm_to_string (&t_tm);
 448 }