Improve error reporting from openssl calls.
[libdcp.git] / src / util.cc
index 0c63c3055e25b143e60593503cafdce3aef17fd9..ea014bc72c5c0057c323223f7d3126e5b297c33e 100644 (file)
@@ -33,6 +33,7 @@
 #include <xmlsec/xmldsig.h>
 #include <xmlsec/dl.h>
 #include <xmlsec/app.h>
+#include <xmlsec/crypto.h>
 #include "KM_util.h"
 #include "KM_fileio.h"
 #include "AS_DCP.h"
@@ -42,6 +43,7 @@
 #include "argb_frame.h"
 #include "certificates.h"
 #include "gamma_lut.h"
+#include "xyz_frame.h"
 
 using std::string;
 using std::cout;
@@ -49,6 +51,8 @@ using std::stringstream;
 using std::min;
 using std::max;
 using std::list;
+using std::setw;
+using std::setfill;
 using boost::shared_ptr;
 using boost::lexical_cast;
 using namespace libdcp;
@@ -69,10 +73,12 @@ libdcp::make_uuid ()
 
 /** Create a digest for a file.
  *  @param filename File name.
+ *  @param progress Pointer to a progress reporting function, or 0.  The function will be called
+ *  with a progress value between 0 and 1.
  *  @return Digest.
  */
 string
-libdcp::make_digest (string filename)
+libdcp::make_digest (string filename, boost::function<void (float)>* progress)
 {
        Kumu::FileReader reader;
        if (ASDCP_FAILURE (reader.OpenRead (filename.c_str ()))) {
@@ -81,9 +87,12 @@ libdcp::make_digest (string filename)
        
        SHA_CTX sha;
        SHA1_Init (&sha);
-       
-       Kumu::ByteString read_buffer (65536);
-       int done = 0;
+
+       int const buffer_size = 65536;
+       Kumu::ByteString read_buffer (buffer_size);
+
+       Kumu::fsize_t done = 0;
+       Kumu::fsize_t const size = reader.Size ();
        while (1) {
                ui32_t read = 0;
                Kumu::Result_t r = reader.Read (read_buffer.Data(), read_buffer.Capacity(), &read);
@@ -95,14 +104,18 @@ libdcp::make_digest (string filename)
                }
                
                SHA1_Update (&sha, read_buffer.Data(), read);
-               done += read;
+
+               if (progress) {
+                       (*progress) (float (done) / size);
+                       done += read;
+               }
        }
 
-       byte_t byte_buffer[20];
+       byte_t byte_buffer[SHA_DIGEST_LENGTH];
        SHA1_Final (byte_buffer, &sha);
 
        char digest[64];
-       return Kumu::base64encode (byte_buffer, 20, digest, 64);
+       return Kumu::base64encode (byte_buffer, SHA_DIGEST_LENGTH, digest, 64);
 }
 
 /** Convert a content kind to a string which can be used in a
@@ -181,9 +194,9 @@ libdcp::content_kind_from_string (string type)
  *  e.g. 0 reduces by (2^0 == 1), ie keeping the same size.
  *       1 reduces by (2^1 == 2), ie halving the size of the image.
  *  This is useful for scaling 4K DCP images down to 2K.
- *  @return openjpeg image, which the caller must call opj_image_destroy() on.
+ *  @return XYZ image.
  */
-opj_image_t *
+shared_ptr<libdcp::XYZFrame>
 libdcp::decompress_j2k (uint8_t* data, int64_t size, int reduce)
 {
        opj_dinfo_t* decoder = opj_create_decompress (CODEC_J2K);
@@ -203,87 +216,7 @@ libdcp::decompress_j2k (uint8_t* data, int64_t size, int reduce)
 
        image->x1 = rint (float(image->x1) / pow (2, reduce));
        image->y1 = rint (float(image->y1) / pow (2, reduce));
-       return image;
-}
-
-/** Convert an openjpeg XYZ image to RGB.
- *  @param xyz_frame Frame in XYZ.
- *  @return RGB image.
- */
-shared_ptr<ARGBFrame>
-libdcp::xyz_to_rgb (opj_image_t* xyz_frame, shared_ptr<const GammaLUT> lut_in, shared_ptr<const GammaLUT> lut_out)
-{
-       float const dci_coefficient = 48.0 / 52.37;
-
-        /* sRGB color matrix for XYZ -> RGB.  This is the same as the one used by the Fraunhofer
-          EasyDCP player, I think.
-       */
-
-       float const colour_matrix[3][3] = {
-               {  3.24096989631653,   -1.5373831987381,  -0.498610764741898 },
-               { -0.96924364566803,    1.87596750259399,  0.0415550582110882 },
-               {  0.0556300804018974, -0.203976958990097, 1.05697154998779 }
-       };
-
-       int const max_colour = pow (2, lut_out->bit_depth()) - 1;
-
-       struct {
-               double x, y, z;
-       } s;
-       
-       struct {
-               double r, g, b;
-       } d;
-       
-       int* xyz_x = xyz_frame->comps[0].data;
-       int* xyz_y = xyz_frame->comps[1].data;
-       int* xyz_z = xyz_frame->comps[2].data;
-
-       shared_ptr<ARGBFrame> argb_frame (new ARGBFrame (Size (xyz_frame->x1, xyz_frame->y1)));
-
-       uint8_t* argb = argb_frame->data ();
-       
-       for (int y = 0; y < xyz_frame->y1; ++y) {
-               uint8_t* argb_line = argb;
-               for (int x = 0; x < xyz_frame->x1; ++x) {
-
-                       assert (*xyz_x >= 0 && *xyz_y >= 0 && *xyz_z >= 0 && *xyz_x < 4096 && *xyz_x < 4096 && *xyz_z < 4096);
-                       
-                       /* In gamma LUT */
-                       s.x = lut_in->lut()[*xyz_x++];
-                       s.y = lut_in->lut()[*xyz_y++];
-                       s.z = lut_in->lut()[*xyz_z++];
-
-                       /* DCI companding */
-                       s.x /= dci_coefficient;
-                       s.y /= dci_coefficient;
-                       s.z /= dci_coefficient;
-                       
-                       /* XYZ to RGB */
-                       d.r = ((s.x * colour_matrix[0][0]) + (s.y * colour_matrix[0][1]) + (s.z * colour_matrix[0][2]));
-                       d.g = ((s.x * colour_matrix[1][0]) + (s.y * colour_matrix[1][1]) + (s.z * colour_matrix[1][2]));
-                       d.b = ((s.x * colour_matrix[2][0]) + (s.y * colour_matrix[2][1]) + (s.z * colour_matrix[2][2]));
-                       
-                       d.r = min (d.r, 1.0);
-                       d.r = max (d.r, 0.0);
-                       
-                       d.g = min (d.g, 1.0);
-                       d.g = max (d.g, 0.0);
-                       
-                       d.b = min (d.b, 1.0);
-                       d.b = max (d.b, 0.0);
-                       
-                       /* Out gamma LUT */
-                       *argb_line++ = lut_out->lut()[(int) (d.b * max_colour)] * 0xff;
-                       *argb_line++ = lut_out->lut()[(int) (d.g * max_colour)] * 0xff;
-                       *argb_line++ = lut_out->lut()[(int) (d.r * max_colour)] * 0xff;
-                       *argb_line++ = 0xff;
-               }
-               
-               argb += argb_frame->stride ();
-       }
-
-       return argb_frame;
+       return shared_ptr<XYZFrame> (new XYZFrame (image));
 }
 
 /** @param s A string.
@@ -309,132 +242,103 @@ libdcp::init ()
        }
 
 #ifdef XMLSEC_CRYPTO_DYNAMIC_LOADING
-       if (xmlSecCryptoDLLoadLibrary (BAD_CAST XMLSEC_CRYPTO) < 0) {
+       if (xmlSecCryptoDLLoadLibrary(BAD_CAST XMLSEC_CRYPTO) < 0) {
                throw MiscError ("unable to load default xmlsec-crypto library");
        }
-#endif
-       
-       if (xmlSecCryptoAppInit (0) < 0) {
-               throw MiscError ("could not initialise crypto library");
+#endif 
+
+       if (xmlSecCryptoAppInit(0) < 0) {
+               throw MiscError ("could not initialise crypto");
        }
-       
+
        if (xmlSecCryptoInit() < 0) {
                throw MiscError ("could not initialise xmlsec-crypto");
        }
 }
 
-void
-libdcp::add_signature_value (xmlpp::Element* parent, CertificateChain const & certificates, string const & signer_key, string const & ns)
+bool libdcp::operator== (libdcp::Size const & a, libdcp::Size const & b)
 {
-       parent->add_child("SignatureValue", ns);
-       
-       xmlpp::Element* key_info = parent->add_child("KeyInfo", ns);
-       list<shared_ptr<Certificate> > c = certificates.leaf_to_root ();
-       for (list<shared_ptr<Certificate> >::iterator i = c.begin(); i != c.end(); ++i) {
-               xmlpp::Element* data = key_info->add_child("X509Data", ns);
-               
-               {
-                       xmlpp::Element* serial = data->add_child("X509IssuerSerial", ns);
-                       serial->add_child("X509IssuerName", ns)->add_child_text(
-                               Certificate::name_for_xml ((*i)->issuer())
-                               );
-                       serial->add_child("X509SerialNumber", ns)->add_child_text((*i)->serial());
-               }
-               
-               data->add_child("X509Certificate", ns)->add_child_text((*i)->certificate());
-       }
-
-       xmlSecKeysMngrPtr keys_manager = xmlSecKeysMngrCreate();
-       if (!keys_manager) {
-               throw MiscError ("could not create keys manager");
-       }
-       if (xmlSecCryptoAppDefaultKeysMngrInit (keys_manager) < 0) {
-               throw MiscError ("could not initialise keys manager");
-       }
-       
-       xmlSecKeyPtr const key = xmlSecCryptoAppKeyLoad (signer_key.c_str(), xmlSecKeyDataFormatPem, 0, 0, 0);
-       if (key == 0) {
-               throw MiscError ("could not load signer key");
-               }
-       
-       if (xmlSecCryptoAppDefaultKeysMngrAdoptKey (keys_manager, key) < 0) {
-               xmlSecKeyDestroy (key);
-               throw MiscError ("could not use signer key");
-       }
-       
-       xmlSecDSigCtx signature_context;
-       
-       if (xmlSecDSigCtxInitialize (&signature_context, keys_manager) < 0) {
-               throw MiscError ("could not initialise XMLSEC context");
-       }
-       
-       if (xmlSecDSigCtxSign (&signature_context, parent->cobj()) < 0) {
-               throw MiscError ("could not sign");
-       }
-       
-       xmlSecDSigCtxFinalize (&signature_context);
-       xmlSecKeysMngrDestroy (keys_manager);
+       return (a.width == b.width && a.height == b.height);
 }
 
+bool libdcp::operator!= (libdcp::Size const & a, libdcp::Size const & b)
+{
+       return !(a == b);
+}
 
-void
-libdcp::add_signer (xmlpp::Element* parent, CertificateChain const & certificates, string const & ns)
+/** The base64 decode routine in KM_util.cpp gives different values to both
+ *  this and the command-line base64 for some inputs.  Not sure why.
+ */
+int
+libdcp::base64_decode (string const & in, unsigned char* out, int out_length)
 {
-       xmlpp::Element* signer = parent->add_child("Signer");
+       BIO* b64 = BIO_new (BIO_f_base64 ());
 
-       {
-               xmlpp::Element* data = signer->add_child("X509Data", ns);
-               
-               {
-                       xmlpp::Element* serial_element = data->add_child("X509IssuerSerial", ns);
-                       serial_element->add_child("X509IssuerName", ns)->add_child_text (
-                               Certificate::name_for_xml (certificates.leaf()->issuer())
-                               );
-                       serial_element->add_child("X509SerialNumber", ns)->add_child_text (
-                               certificates.leaf()->serial()
-                               );
+       /* This means the input should have no newlines */
+       BIO_set_flags (b64, BIO_FLAGS_BASE64_NO_NL);
+
+       /* Copy our input string, removing newlines */
+       char in_buffer[in.size() + 1];
+       char* p = in_buffer;
+       for (size_t i = 0; i < in.size(); ++i) {
+               if (in[i] != '\n' && in[i] != '\r') {
+                       *p++ = in[i];
                }
-               
-               data->add_child("X509SubjectName", ns)->add_child_text (Certificate::name_for_xml (certificates.leaf()->subject()));
        }
+               
+       BIO* bmem = BIO_new_mem_buf (in_buffer, p - in_buffer);
+       bmem = BIO_push (b64, bmem);
+       int const N = BIO_read (bmem, out, out_length);
+       BIO_free_all (bmem);
+
+       return N;
 }
 
-void
-libdcp::sign (xmlpp::Element* parent, CertificateChain const & certificates, string const & signer_key)
+string
+libdcp::tm_to_string (struct tm* tm)
 {
-       add_signer (parent, certificates, "dsig");
+       char buffer[64];
+       strftime (buffer, 64, "%Y-%m-%dT%I:%M:%S", tm);
 
-       xmlpp::Element* signature = parent->add_child("Signature", "dsig");
-       
-       {
-               xmlpp::Element* signed_info = signature->add_child ("SignedInfo", "dsig");
-               signed_info->add_child("CanonicalizationMethod", "dsig")->set_attribute ("Algorithm", "http://www.w3.org/TR/2001/REC-xml-c14n-20010315");
-               signed_info->add_child("SignatureMethod", "dsig")->set_attribute("Algorithm", "http://www.w3.org/2001/04/xmldsig-more#rsa-sha256");
-               {
-                       xmlpp::Element* reference = signed_info->add_child("Reference", "dsig");
-                       reference->set_attribute ("URI", "");
-                       {
-                               xmlpp::Element* transforms = reference->add_child("Transforms", "dsig");
-                               transforms->add_child("Transform", "dsig")->set_attribute (
-                                       "Algorithm", "http://www.w3.org/2000/09/xmldsig#enveloped-signature"
-                                       );
-                       }
-                       reference->add_child("DigestMethod", "dsig")->set_attribute("Algorithm", "http://www.w3.org/2000/09/xmldsig#sha1");
-                       /* This will be filled in by the signing later */
-                       reference->add_child("DigestValue", "dsig");
-               }
-       }
+       int offset = 0;
+
+#ifdef LIBDCP_POSIX
+       offset = tm->tm_gmtoff / 60;
+#else
+       TIME_ZONE_INFORMATION tz;
+       GetTimeZoneInformation (&tz);
+       offset = tz.Bias;
+#endif
        
-       add_signature_value (signature, certificates, signer_key, "dsig");
+       return string (buffer) + utc_offset_to_string (offset);
 }
 
-bool libdcp::operator== (libdcp::Size const & a, libdcp::Size const & b)
+/** @param b Offset from UTC to local time in minutes.
+ *  @return string of the form e.g. -01:00.
+ */
+string
+libdcp::utc_offset_to_string (int b)
 {
-       return (a.width == b.width && a.height == b.height);
+       bool const negative = (b < 0);
+       b = negative ? -b : b;
+
+       int const hours = b / 60;
+       int const minutes = b % 60;
+
+       stringstream o;
+       if (negative) {
+               o << "-";
+       } else {
+               o << "+";
+       }
+
+       o << setw(2) << setfill('0') << hours << ":" << setw(2) << setfill('0') << minutes;
+       return o.str ();
 }
 
-bool libdcp::operator!= (libdcp::Size const & a, libdcp::Size const & b)
+string
+libdcp::ptime_to_string (boost::posix_time::ptime t)
 {
-       return !(a == b);
+       struct tm t_tm = boost::posix_time::to_tm (t);
+       return tm_to_string (&t_tm);
 }
-