Fix crop of some YUV content.
[dcpomatic.git] / src / lib / image.cc
index 847ad104631c32b3c181d1fe9d41c5f8a7f0084b..30b997737698480336a5bfd19917172c64f0dd60 100644 (file)
@@ -1,5 +1,5 @@
 /*
-    Copyright (C) 2012-2014 Carl Hetherington <cth@carlh.net>
+    Copyright (C) 2012-2015 Carl Hetherington <cth@carlh.net>
 
     This program is free software; you can redistribute it and/or modify
     it under the terms of the GNU General Public License as published by
  *  @brief A class to describe a video image.
  */
 
-#include <iostream>
-extern "C" {
-#include <libswscale/swscale.h>
-#include <libavutil/pixfmt.h>
-#include <libavutil/pixdesc.h>
-}
 #include "image.h"
 #include "exceptions.h"
-#include "scaler.h"
 #include "timer.h"
 #include "rect.h"
+#include "util.h"
 #include "md5_digester.h"
+#include "dcpomatic_socket.h"
+extern "C" {
+#include <libswscale/swscale.h>
+#include <libavutil/pixfmt.h>
+#include <libavutil/pixdesc.h>
+}
+#include <iostream>
 
 #include "i18n.h"
 
@@ -53,9 +54,9 @@ Image::line_factor (int n) const
 
        AVPixFmtDescriptor const * d = av_pix_fmt_desc_get(_pixel_format);
        if (!d) {
-               throw PixelFormatError ("lines()", _pixel_format);
+               throw PixelFormatError ("line_factor()", _pixel_format);
        }
-       
+
        return pow (2.0f, d->log2_chroma_h);
 }
 
@@ -80,15 +81,16 @@ Image::components () const
        if ((d->flags & PIX_FMT_PLANAR) == 0) {
                return 1;
        }
-       
+
        return d->nb_components;
 }
 
 /** Crop this image, scale it to `inter_size' and then place it in a black frame of `out_size' */
 shared_ptr<Image>
-Image::crop_scale_window (Crop crop, dcp::Size inter_size, dcp::Size out_size, Scaler const * scaler, AVPixelFormat out_format, bool out_aligned) const
+Image::crop_scale_window (
+       Crop crop, dcp::Size inter_size, dcp::Size out_size, dcp::YUVToRGB yuv_to_rgb, AVPixelFormat out_format, bool out_aligned
+       ) const
 {
-       DCPOMATIC_ASSERT (scaler);
        /* Empirical testing suggests that sws_scale() will crash if
           the input image is not aligned.
        */
@@ -108,17 +110,41 @@ Image::crop_scale_window (Crop crop, dcp::Size inter_size, dcp::Size out_size, S
        struct SwsContext* scale_context = sws_getContext (
                        cropped_size.width, cropped_size.height, pixel_format(),
                        inter_size.width, inter_size.height, out_format,
-                       scaler->ffmpeg_id (), 0, 0, 0
+                       SWS_BICUBIC, 0, 0, 0
                );
 
        if (!scale_context) {
                throw StringError (N_("Could not allocate SwsContext"));
        }
 
+       DCPOMATIC_ASSERT (yuv_to_rgb < dcp::YUV_TO_RGB_COUNT);
+       int const lut[dcp::YUV_TO_RGB_COUNT] = {
+               SWS_CS_ITU601,
+               SWS_CS_ITU709
+       };
+
+       sws_setColorspaceDetails (
+               scale_context,
+               sws_getCoefficients (lut[yuv_to_rgb]), 0,
+               sws_getCoefficients (lut[yuv_to_rgb]), 0,
+               0, 1 << 16, 1 << 16
+               );
+
+       AVPixFmtDescriptor const * desc = av_pix_fmt_desc_get (_pixel_format);
+       if (!desc) {
+               throw PixelFormatError ("crop_scale_window()", _pixel_format);
+       }
+
        /* Prepare input data pointers with crop */
        uint8_t* scale_in_data[components()];
        for (int c = 0; c < components(); ++c) {
-               scale_in_data[c] = data()[c] + int (rint (bytes_per_pixel(c) * crop.left)) + stride()[c] * (crop.top / line_factor(c));
+               /* To work out the crop in bytes, start by multiplying
+                  the crop by the (average) bytes per pixel.  Then
+                  round down so that we don't crop a subsampled pixel until
+                  we've cropped all of its Y-channel pixels.
+               */
+               int const x = int (rint (bytes_per_pixel(c) * crop.left)) & ~ ((int) desc->log2_chroma_w);
+               scale_in_data[c] = data()[c] + x + stride()[c] * (crop.top / line_factor(c));
        }
 
        /* Corner of the image within out_size */
@@ -138,13 +164,12 @@ Image::crop_scale_window (Crop crop, dcp::Size inter_size, dcp::Size out_size, S
 
        sws_freeContext (scale_context);
 
-       return out;     
+       return out;
 }
 
 shared_ptr<Image>
-Image::scale (dcp::Size out_size, Scaler const * scaler, AVPixelFormat out_format, bool out_aligned) const
+Image::scale (dcp::Size out_size, dcp::YUVToRGB yuv_to_rgb, AVPixelFormat out_format, bool out_aligned) const
 {
-       DCPOMATIC_ASSERT (scaler);
        /* Empirical testing suggests that sws_scale() will crash if
           the input image is not aligned.
        */
@@ -155,7 +180,20 @@ Image::scale (dcp::Size out_size, Scaler const * scaler, AVPixelFormat out_forma
        struct SwsContext* scale_context = sws_getContext (
                size().width, size().height, pixel_format(),
                out_size.width, out_size.height, out_format,
-               scaler->ffmpeg_id (), 0, 0, 0
+               SWS_BICUBIC, 0, 0, 0
+               );
+
+       DCPOMATIC_ASSERT (yuv_to_rgb < dcp::YUV_TO_RGB_COUNT);
+       int const lut[dcp::YUV_TO_RGB_COUNT] = {
+               SWS_CS_ITU601,
+               SWS_CS_ITU709
+       };
+
+       sws_setColorspaceDetails (
+               scale_context,
+               sws_getCoefficients (lut[yuv_to_rgb]), 0,
+               sws_getCoefficients (lut[yuv_to_rgb]), 0,
+               0, 1 << 16, 1 << 16
                );
 
        sws_scale (
@@ -236,7 +274,7 @@ Image::make_black ()
        static uint16_t const ten_bit_uv =      (1 << 9) - 1;
        /* U/V black value for 16-bit colour */
        static uint16_t const sixteen_bit_uv =  (1 << 15) - 1;
-       
+
        switch (_pixel_format) {
        case PIX_FMT_YUV420P:
        case PIX_FMT_YUV422P:
@@ -264,7 +302,7 @@ Image::make_black ()
        case PIX_FMT_YUV444P9BE:
                yuv_16_black (swap_16 (nine_bit_uv), false);
                break;
-               
+
        case PIX_FMT_YUV422P10LE:
        case PIX_FMT_YUV444P10LE:
                yuv_16_black (ten_bit_uv, false);
@@ -274,7 +312,7 @@ Image::make_black ()
        case PIX_FMT_YUV444P16LE:
                yuv_16_black (sixteen_bit_uv, false);
                break;
-               
+
        case PIX_FMT_YUV444P10BE:
        case PIX_FMT_YUV422P10BE:
                yuv_16_black (swap_16 (ten_bit_uv), false);
@@ -285,31 +323,31 @@ Image::make_black ()
        case AV_PIX_FMT_YUVA444P9BE:
                yuv_16_black (swap_16 (nine_bit_uv), true);
                break;
-               
+
        case AV_PIX_FMT_YUVA420P9LE:
        case AV_PIX_FMT_YUVA422P9LE:
        case AV_PIX_FMT_YUVA444P9LE:
                yuv_16_black (nine_bit_uv, true);
                break;
-               
+
        case AV_PIX_FMT_YUVA420P10BE:
        case AV_PIX_FMT_YUVA422P10BE:
        case AV_PIX_FMT_YUVA444P10BE:
                yuv_16_black (swap_16 (ten_bit_uv), true);
                break;
-               
+
        case AV_PIX_FMT_YUVA420P10LE:
        case AV_PIX_FMT_YUVA422P10LE:
        case AV_PIX_FMT_YUVA444P10LE:
                yuv_16_black (ten_bit_uv, true);
                break;
-               
+
        case AV_PIX_FMT_YUVA420P16BE:
        case AV_PIX_FMT_YUVA422P16BE:
        case AV_PIX_FMT_YUVA444P16BE:
                yuv_16_black (swap_16 (sixteen_bit_uv), true);
                break;
-               
+
        case AV_PIX_FMT_YUVA420P16LE:
        case AV_PIX_FMT_YUVA422P16LE:
        case AV_PIX_FMT_YUVA444P16LE:
@@ -389,10 +427,10 @@ Image::alpha_blend (shared_ptr<const Image> other, Position<int> position)
                        uint8_t* op = other->data()[0] + oy * other->stride()[0];
                        for (int tx = start_tx, ox = start_ox; tx < size().width && ox < other->size().width; ++tx, ++ox) {
                                float const alpha = float (op[3]) / 255;
-                               tp[0] = op[0] + (tp[0] * (1 - alpha));
-                               tp[1] = op[1] + (tp[1] * (1 - alpha));
-                               tp[2] = op[2] + (tp[2] * (1 - alpha));
-                               
+                               tp[0] = op[0] * alpha + tp[0] * (1 - alpha);
+                               tp[1] = op[1] * alpha + tp[1] * (1 - alpha);
+                               tp[2] = op[2] * alpha + tp[2] * (1 - alpha);
+
                                tp += this_bpp;
                                op += other_bpp;
                        }
@@ -408,11 +446,11 @@ Image::alpha_blend (shared_ptr<const Image> other, Position<int> position)
                        uint8_t* op = other->data()[0] + oy * other->stride()[0];
                        for (int tx = start_tx, ox = start_ox; tx < size().width && ox < other->size().width; ++tx, ++ox) {
                                float const alpha = float (op[3]) / 255;
-                               tp[0] = op[0] + (tp[0] * (1 - alpha));
-                               tp[1] = op[1] + (tp[1] * (1 - alpha));
-                               tp[2] = op[2] + (tp[2] * (1 - alpha));
-                               tp[3] = op[3] + (tp[3] * (1 - alpha));
-                               
+                               tp[0] = op[0] * alpha + tp[0] * (1 - alpha);
+                               tp[1] = op[1] * alpha + tp[1] * (1 - alpha);
+                               tp[2] = op[2] * alpha + tp[2] * (1 - alpha);
+                               tp[3] = op[3] * alpha + tp[3] * (1 - alpha);
+
                                tp += this_bpp;
                                op += other_bpp;
                        }
@@ -428,10 +466,10 @@ Image::alpha_blend (shared_ptr<const Image> other, Position<int> position)
                        for (int tx = start_tx, ox = start_ox; tx < size().width && ox < other->size().width; ++tx, ++ox) {
                                float const alpha = float (op[3]) / 255;
                                /* Blend high bytes */
-                               tp[1] = op[0] + (tp[1] * (1 - alpha));
-                               tp[3] = op[1] + (tp[3] * (1 - alpha));
-                               tp[5] = op[2] + (tp[5] * (1 - alpha));
-                               
+                               tp[1] = op[0] * alpha + tp[1] * (1 - alpha);
+                               tp[3] = op[1] * alpha + tp[3] * (1 - alpha);
+                               tp[5] = op[2] * alpha + tp[5] * (1 - alpha);
+
                                tp += this_bpp;
                                op += other_bpp;
                        }
@@ -442,7 +480,7 @@ Image::alpha_blend (shared_ptr<const Image> other, Position<int> position)
                DCPOMATIC_ASSERT (false);
        }
 }
-       
+
 void
 Image::copy (shared_ptr<const Image> other, Position<int> position)
 {
@@ -456,7 +494,7 @@ Image::copy (shared_ptr<const Image> other, Position<int> position)
                uint8_t * const op = other->data()[0] + oy * other->stride()[0];
                memcpy (tp, op, N * 3);
        }
-}      
+}
 
 void
 Image::read_from_socket (shared_ptr<Socket> socket)
@@ -488,7 +526,7 @@ Image::bytes_per_pixel (int c) const
 {
        AVPixFmtDescriptor const * d = av_pix_fmt_desc_get(_pixel_format);
        if (!d) {
-               throw PixelFormatError ("lines()", _pixel_format);
+               throw PixelFormatError ("bytes_per_pixel()", _pixel_format);
        }
 
        if (c >= components()) {
@@ -507,7 +545,7 @@ Image::bytes_per_pixel (int c) const
        if (d->nb_components > 3) {
                bpp[3] = floor ((d->comp[3].depth_minus1 + 1 + 7) / 8) / pow (2.0f, d->log2_chroma_w);
        }
-       
+
        if ((d->flags & PIX_FMT_PLANAR) == 0) {
                /* Not planar; sum them up */
                return bpp[0] + bpp[1] + bpp[2] + bpp[3];
@@ -523,7 +561,7 @@ Image::bytes_per_pixel (int c) const
  *  @param s Size in pixels.
  */
 Image::Image (AVPixelFormat p, dcp::Size s, bool aligned)
-       : dcp::Image (s)
+       : _size (s)
        , _pixel_format (p)
        , _aligned (aligned)
 {
@@ -535,10 +573,10 @@ Image::allocate ()
 {
        _data = (uint8_t **) wrapped_av_malloc (4 * sizeof (uint8_t *));
        _data[0] = _data[1] = _data[2] = _data[3] = 0;
-       
+
        _line_size = (int *) wrapped_av_malloc (4 * sizeof (int));
        _line_size[0] = _line_size[1] = _line_size[2] = _line_size[3] = 0;
-       
+
        _stride = (int *) wrapped_av_malloc (4 * sizeof (int));
        _stride[0] = _stride[1] = _stride[2] = _stride[3] = 0;
 
@@ -565,8 +603,8 @@ Image::allocate ()
 }
 
 Image::Image (Image const & other)
-       : dcp::Image (other)
-       ,  _pixel_format (other._pixel_format)
+       : _size (other._size)
+       , _pixel_format (other._pixel_format)
        , _aligned (other._aligned)
 {
        allocate ();
@@ -583,7 +621,7 @@ Image::Image (Image const & other)
 }
 
 Image::Image (AVFrame* frame)
-       : dcp::Image (dcp::Size (frame->width, frame->height))
+       : _size (frame->width, frame->height)
        , _pixel_format (static_cast<AVPixelFormat> (frame->format))
        , _aligned (true)
 {
@@ -602,7 +640,7 @@ Image::Image (AVFrame* frame)
 }
 
 Image::Image (shared_ptr<const Image> other, bool aligned)
-       : dcp::Image (other)
+       : _size (other->_size)
        , _pixel_format (other->_pixel_format)
        , _aligned (aligned)
 {
@@ -635,8 +673,7 @@ Image::operator= (Image const & other)
 void
 Image::swap (Image & other)
 {
-       dcp::Image::swap (other);
-       
+       std::swap (_size, other._size);
        std::swap (_pixel_format, other._pixel_format);
 
        for (int i = 0; i < 4; ++i) {
@@ -660,7 +697,7 @@ Image::~Image ()
        av_free (_stride);
 }
 
-uint8_t **
+uint8_t * const *
 Image::data () const
 {
        return _data;
@@ -672,7 +709,7 @@ Image::line_size () const
        return _line_size;
 }
 
-int *
+int const *
 Image::stride () const
 {
        return _stride;
@@ -715,18 +752,6 @@ merge (list<PositionImage> images)
        return PositionImage (merged, all.position ());
 }
 
-string
-Image::digest () const
-{
-       MD5Digester digester;
-
-       for (int i = 0; i < components(); ++i) {
-               digester.add (data()[i], line_size()[i]);
-       }
-
-       return digester.get ();
-}
-
 bool
 operator== (Image const & a, Image const & b)
 {
@@ -754,6 +779,9 @@ operator== (Image const & a, Image const & b)
        return true;
 }
 
+/** Fade the image.
+ *  @param f Amount to fade by; 0 is black, 1 is no fade.
+ */
 void
 Image::fade (float f)
 {
@@ -797,6 +825,7 @@ Image::fade (float f)
        case AV_PIX_FMT_YUVA420P10LE:
        case AV_PIX_FMT_YUVA422P10LE:
        case AV_PIX_FMT_YUVA444P10LE:
+       case AV_PIX_FMT_RGB48LE:
                /* 16-bit little-endian */
                for (int c = 0; c < 3; ++c) {
                        int const stride_pixels = stride()[c] / 2;
@@ -826,6 +855,7 @@ Image::fade (float f)
        case AV_PIX_FMT_YUVA420P16BE:
        case AV_PIX_FMT_YUVA422P16BE:
        case AV_PIX_FMT_YUVA444P16BE:
+       case AV_PIX_FMT_RGB48BE:
                /* 16-bit big-endian */
                for (int c = 0; c < 3; ++c) {
                        int const stride_pixels = stride()[c] / 2;