Fix assertion failure when content has more than one audio stream.
[dcpomatic.git] / src / lib / video_decoder.cc
index 58aceb4077cfc4ebfc9fdecc0bf2e2b90ad90681..3625e074fba0460fc63729a00bc30c446f7d769b 100644 (file)
 /*
-    Copyright (C) 2012 Carl Hetherington <cth@carlh.net>
+    Copyright (C) 2012-2018 Carl Hetherington <cth@carlh.net>
 
-    This program is free software; you can redistribute it and/or modify
+    This file is part of DCP-o-matic.
+
+    DCP-o-matic is free software; you can redistribute it and/or modify
     it under the terms of the GNU General Public License as published by
     the Free Software Foundation; either version 2 of the License, or
     (at your option) any later version.
 
-    This program is distributed in the hope that it will be useful,
+    DCP-o-matic is distributed in the hope that it will be useful,
     but WITHOUT ANY WARRANTY; without even the implied warranty of
     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
     GNU General Public License for more details.
 
     You should have received a copy of the GNU General Public License
-    along with this program; if not, write to the Free Software
-    Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
+    along with DCP-o-matic.  If not, see <http://www.gnu.org/licenses/>.
 
 */
 
 #include "video_decoder.h"
-#include "subtitle.h"
-#include "film.h"
 #include "image.h"
-#include "ratio.h"
+#include "raw_image_proxy.h"
+#include "film.h"
+#include "log.h"
+#include "compose.hpp"
+#include <boost/foreach.hpp>
+#include <iostream>
 
 #include "i18n.h"
 
 using std::cout;
+using std::list;
+using std::max;
+using std::back_inserter;
 using boost::shared_ptr;
+using boost::optional;
 
-VideoDecoder::VideoDecoder (shared_ptr<const Film> f, shared_ptr<const VideoContent> c)
-       : Decoder (f)
-       , _next_video (0)
-       , _video_content (c)
-       , _frame_rate_conversion (c->video_frame_rate(), f->dcp_video_frame_rate())
-       , _odd (false)
+VideoDecoder::VideoDecoder (Decoder* parent, shared_ptr<const Content> c, shared_ptr<Log> log)
+       : DecoderPart (parent, log)
+       , _content (c)
 {
 
 }
 
-/** Called by subclasses when some video is ready.
- *  @param image frame to emit.
- *  @param same true if this frame is the same as the last one passed to this call.
- *  @param t Time of the frame within the source.
+/** Called by decoder classes when they have a video frame ready.
+ *  @param frame Frame index within the content; this does not take into account 3D
+ *  so for 3D_ALTERNATE this value goes:
+ *     0: frame 0 left
+ *     1: frame 0 right
+ *     2: frame 1 left
+ *     3: frame 1 right
+ *  and so on.
  */
 void
-VideoDecoder::video (shared_ptr<Image> image, bool same, Time t)
+VideoDecoder::emit (shared_ptr<const ImageProxy> image, Frame frame)
 {
-       if (_frame_rate_conversion.skip && _odd) {
-               _odd = !_odd;
+       if (ignore ()) {
                return;
        }
 
-       image = image->crop (_video_content->crop(), true);
-
-       shared_ptr<const Film> film = _film.lock ();
-       assert (film);
-       
-       libdcp::Size const container_size = _video_container_size.get_value_or (film->container()->size (film->full_frame ()));
-       libdcp::Size const image_size = _video_content->ratio()->size (container_size);
-       
-       shared_ptr<Image> out = image->scale_and_convert_to_rgb (image_size, film->scaler(), true);
-
-       shared_ptr<Subtitle> sub;
-       if (_timed_subtitle && _timed_subtitle->displayed_at (t)) {
-               sub = _timed_subtitle->subtitle ();
-       }
-
-       if (sub) {
-               dcpomatic::Rect const tx = subtitle_transformed_area (
-                       float (image_size.width) / video_size().width,
-                       float (image_size.height) / video_size().height,
-                       sub->area(), film->subtitle_offset(), film->subtitle_scale()
-                       );
-
-               shared_ptr<Image> im = sub->image()->scale (tx.size(), film->scaler(), true);
-               out->alpha_blend (im, tx.position());
-       }
-
-       if (image_size != container_size) {
-               assert (image_size.width <= container_size.width);
-               assert (image_size.height <= container_size.height);
-               shared_ptr<Image> im (new SimpleImage (PIX_FMT_RGB24, container_size, true));
-               im->make_black ();
-               im->copy (out, Position ((container_size.width - image_size.width) / 2, (container_size.height - image_size.height) / 2));
-               out = im;
-       }
-               
-       Video (out, same, t);
-
-       if (_frame_rate_conversion.repeat) {
-               Video (image, true, t + film->video_frames_to_time (1));
-               _next_video = t + film->video_frames_to_time (2);
-       } else {
-               _next_video = t + film->video_frames_to_time (1);
+       switch (_content->video->frame_type ()) {
+       case VIDEO_FRAME_TYPE_2D:
+               Data (ContentVideo (image, frame, EYES_BOTH, PART_WHOLE));
+               break;
+       case VIDEO_FRAME_TYPE_3D:
+       {
+               /* We receive the same frame index twice for 3D; hence we know which
+                  frame this one is.
+               */
+               bool const same = (_last_emitted && _last_emitted.get() == frame);
+               Data (ContentVideo (image, frame, same ? EYES_RIGHT : EYES_LEFT, PART_WHOLE));
+               _last_emitted = frame;
+               break;
        }
-
-       _odd = !_odd;
-}
-
-/** Called by subclasses when a subtitle is ready.
- *  s may be 0 to say that there is no current subtitle.
- *  @param s New current subtitle, or 0.
- */
-void
-VideoDecoder::subtitle (shared_ptr<TimedSubtitle> s)
-{
-       _timed_subtitle = s;
-       
-       if (_timed_subtitle) {
-               Position const p = _timed_subtitle->subtitle()->position ();
-               _timed_subtitle->subtitle()->set_position (Position (p.x - _video_content->crop().left, p.y - _video_content->crop().top));
+       case VIDEO_FRAME_TYPE_3D_ALTERNATE:
+               Data (ContentVideo (image, frame / 2, (frame % 2) ? EYES_RIGHT : EYES_LEFT, PART_WHOLE));
+               frame /= 2;
+               break;
+       case VIDEO_FRAME_TYPE_3D_LEFT_RIGHT:
+               Data (ContentVideo (image, frame, EYES_LEFT, PART_LEFT_HALF));
+               Data (ContentVideo (image, frame, EYES_RIGHT, PART_RIGHT_HALF));
+               break;
+       case VIDEO_FRAME_TYPE_3D_TOP_BOTTOM:
+               Data (ContentVideo (image, frame, EYES_LEFT, PART_TOP_HALF));
+               Data (ContentVideo (image, frame, EYES_RIGHT, PART_BOTTOM_HALF));
+               break;
+       case VIDEO_FRAME_TYPE_3D_LEFT:
+               Data (ContentVideo (image, frame, EYES_LEFT, PART_WHOLE));
+               break;
+       case VIDEO_FRAME_TYPE_3D_RIGHT:
+               Data (ContentVideo (image, frame, EYES_RIGHT, PART_WHOLE));
+               break;
+       default:
+               DCPOMATIC_ASSERT (false);
        }
-}
-
-bool
-VideoDecoder::video_done () const
-{
-       shared_ptr<const Film> film = _film.lock ();
-       assert (film);
-       
-       return (_video_content->length() - _next_video) < film->video_frames_to_time (1);
-}
-
-void
-VideoDecoder::seek (Time t)
-{
-       _next_video = t;
-}
-
-void
-VideoDecoder::seek_back ()
-{
-       shared_ptr<const Film> film = _film.lock ();
-       assert (film);
-       _next_video -= film->video_frames_to_time (1);
-}
 
-void
-VideoDecoder::seek_forward ()
-{
-       shared_ptr<const Film> film = _film.lock ();
-       assert (film);
-       _next_video += film->video_frames_to_time (1);
+       _position = ContentTime::from_frames (frame, _content->active_video_frame_rate ());
 }
 
 void
-VideoDecoder::set_video_container_size (libdcp::Size s)
+VideoDecoder::seek ()
 {
-       _video_container_size = s;
+       _position = ContentTime();
+       _last_emitted.reset ();
 }