Fix black borders around the preview in some cases (#2331).
[dcpomatic.git] / src / lib / video_content.cc
index 4933de71bb0a85fd13acfb670b37fc086f664d62..1d1d010a95662193bc52ab84e5dacb2b8746fb10 100644 (file)
@@ -1,5 +1,5 @@
 /*
-    Copyright (C) 2013-2020 Carl Hetherington <cth@carlh.net>
+    Copyright (C) 2013-2022 Carl Hetherington <cth@carlh.net>
 
     This file is part of DCP-o-matic.
 
 
 */
 
-#include "video_content.h"
-#include "content.h"
-#include "video_examiner.h"
+
+#include "colour_conversion.h"
 #include "compose.hpp"
-#include "ratio.h"
 #include "config.h"
-#include "colour_conversion.h"
-#include "util.h"
-#include "film.h"
+#include "content.h"
+#include "dcpomatic_log.h"
 #include "exceptions.h"
+#include "film.h"
 #include "frame_rate_change.h"
 #include "log.h"
-#include "dcpomatic_log.h"
+#include "ratio.h"
+#include "util.h"
+#include "video_content.h"
+#include "video_examiner.h"
 #include <dcp/raw_convert.h>
 #include <libcxml/cxml.h>
 #include <libxml++/libxml++.h>
 
 #include "i18n.h"
 
+
 int const VideoContentProperty::USE               = 0;
 int const VideoContentProperty::SIZE              = 1;
 int const VideoContentProperty::FRAME_TYPE        = 2;
 int const VideoContentProperty::CROP              = 3;
-int const VideoContentProperty::SCALE            = 4;
-int const VideoContentProperty::COLOUR_CONVERSION = 5;
-int const VideoContentProperty::FADE_IN           = 6;
-int const VideoContentProperty::FADE_OUT          = 7;
-int const VideoContentProperty::RANGE             = 8;
-int const VideoContentProperty::CUSTOM_RATIO      = 9;
-int const VideoContentProperty::CUSTOM_SIZE       = 10;
+int const VideoContentProperty::COLOUR_CONVERSION = 4;
+int const VideoContentProperty::FADE_IN           = 5;
+int const VideoContentProperty::FADE_OUT          = 6;
+int const VideoContentProperty::RANGE             = 7;
+int const VideoContentProperty::CUSTOM_RATIO      = 8;
+int const VideoContentProperty::CUSTOM_SIZE       = 9;
+int const VideoContentProperty::BURNT_SUBTITLE_LANGUAGE = 10;
+
 
-using std::string;
-using std::setprecision;
 using std::cout;
-using std::vector;
-using std::min;
-using std::max;
+using std::dynamic_pointer_cast;
 using std::fixed;
-using std::setprecision;
 using std::list;
+using std::make_shared;
+using std::max;
+using std::min;
 using std::pair;
+using std::setprecision;
+using std::setprecision;
 using std::shared_ptr;
+using std::string;
+using std::vector;
 using boost::optional;
-using std::dynamic_pointer_cast;
 using dcp::raw_convert;
 using namespace dcpomatic;
 
+
 VideoContent::VideoContent (Content* parent)
        : ContentPart (parent)
        , _use (true)
        , _length (0)
-       , _frame_type (VIDEO_FRAME_TYPE_2D)
+       , _frame_type (VideoFrameType::TWO_D)
        , _yuv (true)
        , _fade_in (0)
        , _fade_out (0)
-       , _range (VIDEO_RANGE_FULL)
+       , _range (VideoRange::FULL)
 {
 
 }
 
+
+/** @param video_range_hint Video range to use if none is given in the XML */
 shared_ptr<VideoContent>
-VideoContent::from_xml (Content* parent, cxml::ConstNodePtr node, int version)
+VideoContent::from_xml (Content* parent, cxml::ConstNodePtr node, int version, VideoRange video_range_hint)
 {
        if (!node->optional_number_child<int> ("VideoWidth")) {
-               return shared_ptr<VideoContent> ();
+               return {};
        }
 
-       return shared_ptr<VideoContent> (new VideoContent (parent, node, version));
+       return make_shared<VideoContent>(parent, node, version, video_range_hint);
 }
 
-VideoContent::VideoContent (Content* parent, cxml::ConstNodePtr node, int version)
+
+/** @param video_range_hint Video range to use if none is given in the XML */
+VideoContent::VideoContent (Content* parent, cxml::ConstNodePtr node, int version, VideoRange video_range_hint)
        : ContentPart (parent)
 {
        _size.width = node->number_child<int> ("VideoWidth");
        _size.height = node->number_child<int> ("VideoHeight");
 
        /* Backwards compatibility */
-       optional<double> r = node->optional_number_child<double>("VideoFrameRate");
+       auto r = node->optional_number_child<double>("VideoFrameRate");
        if (r) {
                _parent->set_video_frame_rate (r.get ());
        }
@@ -109,22 +118,22 @@ VideoContent::VideoContent (Content* parent, cxml::ConstNodePtr node, int versio
                /* Snapshot of the VideoFrameType enum at version 34 */
                switch (node->number_child<int> ("VideoFrameType")) {
                case 0:
-                       _frame_type = VIDEO_FRAME_TYPE_2D;
+                       _frame_type = VideoFrameType::TWO_D;
                        break;
                case 1:
-                       _frame_type = VIDEO_FRAME_TYPE_3D_LEFT_RIGHT;
+                       _frame_type = VideoFrameType::THREE_D_LEFT_RIGHT;
                        break;
                case 2:
-                       _frame_type = VIDEO_FRAME_TYPE_3D_TOP_BOTTOM;
+                       _frame_type = VideoFrameType::THREE_D_TOP_BOTTOM;
                        break;
                case 3:
-                       _frame_type = VIDEO_FRAME_TYPE_3D_ALTERNATE;
+                       _frame_type = VideoFrameType::THREE_D_ALTERNATE;
                        break;
                case 4:
-                       _frame_type = VIDEO_FRAME_TYPE_3D_LEFT;
+                       _frame_type = VideoFrameType::THREE_D_LEFT;
                        break;
                case 5:
-                       _frame_type = VIDEO_FRAME_TYPE_3D_RIGHT;
+                       _frame_type = VideoFrameType::THREE_D_RIGHT;
                        break;
                }
        } else {
@@ -138,16 +147,16 @@ VideoContent::VideoContent (Content* parent, cxml::ConstNodePtr node, int versio
        _crop.bottom = node->number_child<int> ("BottomCrop");
 
        if (version <= 7) {
-               optional<string> r = node->optional_string_child ("Ratio");
+               auto r = node->optional_string_child ("Ratio");
                if (r) {
                        _legacy_ratio = Ratio::from_id(r.get())->ratio();
                }
        } else if (version <= 37) {
-               optional<string> ratio = node->node_child("Scale")->optional_string_child("Ratio");
+               auto ratio = node->node_child("Scale")->optional_string_child("Ratio");
                if (ratio) {
                        _legacy_ratio = Ratio::from_id(ratio.get())->ratio();
                }
-               optional<bool> scale = node->node_child("Scale")->optional_bool_child("Scale");
+               auto scale = node->node_child("Scale")->optional_bool_child("Scale");
                if (scale) {
                        if (*scale) {
                                /* This is what we used to call "no stretch" */
@@ -172,24 +181,40 @@ VideoContent::VideoContent (Content* parent, cxml::ConstNodePtr node, int versio
        _yuv = node->optional_bool_child("YUV").get_value_or (true);
 
        if (version >= 32) {
+               /* These should be VideoFadeIn and VideoFadeOut but we'll leave them like this until 2.18.x */
                _fade_in = node->number_child<Frame> ("FadeIn");
                _fade_out = node->number_child<Frame> ("FadeOut");
        } else {
                _fade_in = _fade_out = 0;
        }
 
-       _range = VIDEO_RANGE_FULL;
-       if (node->optional_string_child("Range").get_value_or("full") == "video") {
-               _range = VIDEO_RANGE_VIDEO;
+       auto video_range = node->optional_string_child("Range");
+       if (!video_range) {
+               _range = video_range_hint;
+       } else if (*video_range == "full") {
+               _range = VideoRange::FULL;
+       } else {
+               _range = VideoRange::VIDEO;
+       }
+
+       if (auto pixel_quanta = node->optional_node_child("PixelQuanta")) {
+               _pixel_quanta = PixelQuanta(pixel_quanta);
+       }
+
+       auto burnt = node->optional_string_child("BurntSubtitleLanguage");
+       if (burnt) {
+               _burnt_subtitle_language = dcp::LanguageTag (*burnt);
        }
+
 }
 
+
 VideoContent::VideoContent (Content* parent, vector<shared_ptr<Content> > c)
        : ContentPart (parent)
        , _length (0)
        , _yuv (false)
 {
-       shared_ptr<VideoContent> ref = c[0]->video;
+       auto ref = c[0]->video;
        DCPOMATIC_ASSERT (ref);
 
        for (size_t i = 1; i < c.size(); ++i) {
@@ -206,7 +231,7 @@ VideoContent::VideoContent (Content* parent, vector<shared_ptr<Content> > c)
                        throw JoinError (_("Content to be joined must have the same video frame type."));
                }
 
-               if (c[i]->video->crop() != ref->crop()) {
+               if (c[i]->video->requested_crop() != ref->requested_crop()) {
                        throw JoinError (_("Content to be joined must have the same crop."));
                }
 
@@ -226,24 +251,32 @@ VideoContent::VideoContent (Content* parent, vector<shared_ptr<Content> > c)
                        throw JoinError (_("Content to be joined must have the same fades."));
                }
 
+               if (c[i]->video->burnt_subtitle_language() != ref->burnt_subtitle_language()) {
+                       throw JoinError (_("Content to be joined must have the same burnt subtitle language."));
+               }
+
                _length += c[i]->video->length ();
 
                if (c[i]->video->yuv ()) {
                        _yuv = true;
                }
+
+               _pixel_quanta = max(_pixel_quanta, c[i]->video->_pixel_quanta);
        }
 
        _use = ref->use ();
        _size = ref->size ();
        _frame_type = ref->frame_type ();
-       _crop = ref->crop ();
+       _crop = ref->requested_crop ();
        _custom_ratio = ref->custom_ratio ();
        _colour_conversion = ref->colour_conversion ();
        _fade_in = ref->fade_in ();
        _fade_out = ref->fade_out ();
        _range = ref->range ();
+       _burnt_subtitle_language = ref->burnt_subtitle_language ();
 }
 
+
 void
 VideoContent::as_xml (xmlpp::Node* node) const
 {
@@ -270,23 +303,27 @@ VideoContent::as_xml (xmlpp::Node* node) const
        node->add_child("YUV")->add_child_text (_yuv ? "1" : "0");
        node->add_child("FadeIn")->add_child_text (raw_convert<string> (_fade_in));
        node->add_child("FadeOut")->add_child_text (raw_convert<string> (_fade_out));
-       node->add_child("Range")->add_child_text(_range == VIDEO_RANGE_FULL ? "full" : "video");
+       node->add_child("Range")->add_child_text(_range == VideoRange::FULL ? "full" : "video");
+       _pixel_quanta.as_xml(node->add_child("PixelQuanta"));
+       if (_burnt_subtitle_language) {
+               node->add_child("BurntSubtitleLanguage")->add_child_text(_burnt_subtitle_language->to_string());
+       }
 }
 
 void
 VideoContent::take_from_examiner (shared_ptr<VideoExaminer> d)
 {
        /* These examiner calls could call other content methods which take a lock on the mutex */
-       dcp::Size const vs = d->video_size ();
-       Frame vl = d->video_length ();
-       optional<double> const ar = d->sample_aspect_ratio ();
-       bool const yuv = d->yuv ();
-       VideoRange const range = d->range ();
+       auto const vs = d->video_size ();
+       auto vl = d->video_length ();
+       auto const ar = d->sample_aspect_ratio ();
+       auto const yuv = d->yuv ();
+       auto const range = d->range ();
+       auto const pixel_quanta = d->pixel_quanta ();
 
-       ChangeSignaller<Content> cc1 (_parent, VideoContentProperty::SIZE);
-       ChangeSignaller<Content> cc2 (_parent, VideoContentProperty::SCALE);
-       ChangeSignaller<Content> cc3 (_parent, ContentProperty::LENGTH);
-       ChangeSignaller<Content> cc4 (_parent, VideoContentProperty::RANGE);
+       ContentChangeSignaller cc1 (_parent, VideoContentProperty::SIZE);
+       ContentChangeSignaller cc2 (_parent, ContentProperty::LENGTH);
+       ContentChangeSignaller cc3 (_parent, VideoContentProperty::RANGE);
 
        {
                boost::mutex::scoped_lock lm (_mutex);
@@ -295,6 +332,7 @@ VideoContent::take_from_examiner (shared_ptr<VideoExaminer> d)
                _sample_aspect_ratio = ar;
                _yuv = yuv;
                _range = range;
+               _pixel_quanta = pixel_quanta;
        }
 
        LOG_GENERAL ("Video length obtained from header as %1 frames", _length);
@@ -309,19 +347,20 @@ string
 VideoContent::identifier () const
 {
        char buffer[256];
+       auto const crop = actual_crop();
        snprintf (
                buffer, sizeof(buffer), "%d_%d_%d_%d_%d_%f_%d_%d%" PRId64 "_%" PRId64 "_%d",
                (_use ? 1 : 0),
-               crop().left,
-               crop().right,
-               crop().top,
-               crop().bottom,
+               crop.left,
+               crop.right,
+               crop.top,
+               crop.bottom,
                _custom_ratio.get_value_or(0),
                _custom_size ? _custom_size->width : 0,
                _custom_size ? _custom_size->height : 0,
                _fade_in,
                _fade_out,
-               _range == VIDEO_RANGE_FULL ? 0 : 1
+               _range == VideoRange::FULL ? 0 : 1
                );
 
        string s (buffer);
@@ -353,17 +392,17 @@ VideoContent::technical_summary () const
 dcp::Size
 VideoContent::size_after_3d_split () const
 {
-       dcp::Size const s = size ();
+       auto const s = size ();
        switch (frame_type ()) {
-       case VIDEO_FRAME_TYPE_2D:
-       case VIDEO_FRAME_TYPE_3D:
-       case VIDEO_FRAME_TYPE_3D_ALTERNATE:
-       case VIDEO_FRAME_TYPE_3D_LEFT:
-       case VIDEO_FRAME_TYPE_3D_RIGHT:
+       case VideoFrameType::TWO_D:
+       case VideoFrameType::THREE_D:
+       case VideoFrameType::THREE_D_ALTERNATE:
+       case VideoFrameType::THREE_D_LEFT:
+       case VideoFrameType::THREE_D_RIGHT:
                return s;
-       case VIDEO_FRAME_TYPE_3D_LEFT_RIGHT:
+       case VideoFrameType::THREE_D_LEFT_RIGHT:
                return dcp::Size (s.width / 2, s.height);
-       case VIDEO_FRAME_TYPE_3D_TOP_BOTTOM:
+       case VideoFrameType::THREE_D_TOP_BOTTOM:
                return dcp::Size (s.width, s.height / 2);
        }
 
@@ -374,7 +413,7 @@ VideoContent::size_after_3d_split () const
 dcp::Size
 VideoContent::size_after_crop () const
 {
-       return crop().apply (size_after_3d_split ());
+       return actual_crop().apply(size_after_3d_split());
 }
 
 
@@ -388,12 +427,12 @@ VideoContent::fade (shared_ptr<const Film> film, Frame f) const
 
        double const vfr = _parent->active_video_frame_rate(film);
 
-       Frame const ts = _parent->trim_start().frames_round(vfr);
+       auto const ts = _parent->trim_start().frames_round(vfr);
        if ((f - ts) < fade_in()) {
                return double (f - ts) / fade_in();
        }
 
-       Frame fade_out_start = length() - _parent->trim_end().frames_round(vfr) - fade_out();
+       auto fade_out_start = length() - _parent->trim_end().frames_round(vfr) - fade_out();
        if (f >= fade_out_start) {
                return 1 - double (f - fade_out_start) / fade_out();
        }
@@ -427,8 +466,10 @@ VideoContent::processing_description (shared_ptr<const Film> film)
                d += buffer;
        }
 
-       if ((crop().left || crop().right || crop().top || crop().bottom) && size() != dcp::Size (0, 0)) {
-               dcp::Size cropped = size_after_crop ();
+       auto const crop = actual_crop();
+
+       if ((crop.left || crop.right || crop.top || crop.bottom) && size() != dcp::Size(0, 0)) {
+               auto const cropped = size_after_crop ();
                d += String::compose (
                        _("\nCropped to %1x%2"),
                        cropped.width, cropped.height
@@ -438,8 +479,8 @@ VideoContent::processing_description (shared_ptr<const Film> film)
                d += buffer;
        }
 
-       dcp::Size const container_size = film->frame_size ();
-       dcp::Size const scaled = scaled_size (container_size);
+       auto const container_size = film->frame_size ();
+       auto const scaled = scaled_size (container_size);
 
        if (scaled != size_after_crop ()) {
                d += String::compose (
@@ -488,6 +529,12 @@ VideoContent::set_length (Frame len)
        maybe_set (_length, len, ContentProperty::LENGTH);
 }
 
+void
+VideoContent::set_crop (Crop c)
+{
+       maybe_set (_crop, c, VideoContentProperty::CROP);
+}
+
 void
 VideoContent::set_left_crop (int c)
 {
@@ -555,6 +602,14 @@ VideoContent::set_use (bool u)
        maybe_set (_use, u, VideoContentProperty::USE);
 }
 
+
+void
+VideoContent::set_burnt_subtitle_language (boost::optional<dcp::LanguageTag> language)
+{
+       maybe_set (_burnt_subtitle_language, language, VideoContentProperty::BURNT_SUBTITLE_LANGUAGE);
+}
+
+
 void
 VideoContent::take_settings_from (shared_ptr<const VideoContent> c)
 {
@@ -573,8 +628,10 @@ VideoContent::take_settings_from (shared_ptr<const VideoContent> c)
        set_custom_size (c->_custom_size);
        set_fade_in (c->_fade_in);
        set_fade_out (c->_fade_out);
+       set_burnt_subtitle_language (c->_burnt_subtitle_language);
 }
 
+
 void
 VideoContent::modify_position (shared_ptr<const Film> film, DCPTime& pos) const
 {
@@ -602,11 +659,11 @@ VideoContent::scaled_size (dcp::Size film_container)
                return *_custom_size;
        }
 
-       dcp::Size size = size_after_crop ();
-       size.width *= _sample_aspect_ratio.get_value_or(1);
+       auto size = size_after_crop ();
+       size.width = std::lrint(size.width * _sample_aspect_ratio.get_value_or(1));
 
        /* This is what we will return unless there is any legacy stuff to take into account */
-       dcp::Size auto_size = fit_ratio_within (size.ratio(), film_container);
+       auto auto_size = fit_ratio_within (size.ratio(), film_container);
 
        if (_legacy_ratio) {
                if (fit_ratio_within(*_legacy_ratio, film_container) != auto_size) {
@@ -617,7 +674,7 @@ VideoContent::scaled_size (dcp::Size film_container)
                _legacy_ratio = boost::optional<float>();
        }
 
-       return auto_size;
+       return _pixel_quanta.round (auto_size);
 }
 
 
@@ -633,3 +690,16 @@ VideoContent::set_custom_size (optional<dcp::Size> size)
 {
        maybe_set (_custom_size, size, VideoContentProperty::CUSTOM_SIZE);
 }
+
+
+Crop
+VideoContent::actual_crop () const
+{
+       return Crop(
+               _pixel_quanta.round_x(_crop.left),
+               _pixel_quanta.round_x(_crop.right),
+               _pixel_quanta.round_y(_crop.top),
+               _pixel_quanta.round_y(_crop.bottom)
+       );
+}
+