Merge master.
[dcpomatic.git] / src / wx / film_viewer.cc
index 82490e32978d6f7362c35e7b7fac93f7d93fa272..deee65a5fca4dc07f7d401f0234386d9937257cf 100644 (file)
 #include <iomanip>
 #include <wx/tglbtn.h>
 #include "lib/film.h"
-#include "lib/format.h"
+#include "lib/ratio.h"
 #include "lib/util.h"
 #include "lib/job_manager.h"
-#include "lib/options.h"
-#include "lib/subtitle.h"
 #include "lib/image.h"
 #include "lib/scaler.h"
 #include "lib/exceptions.h"
 #include "lib/examine_content_job.h"
 #include "lib/filter.h"
+#include "lib/player.h"
+#include "lib/video_content.h"
+#include "lib/video_decoder.h"
+#include "lib/timer.h"
 #include "film_viewer.h"
 #include "wx_util.h"
-#include "video_decoder.h"
 
 using std::string;
 using std::pair;
+using std::min;
 using std::max;
 using std::cout;
 using std::list;
+using std::bad_alloc;
+using std::make_pair;
 using boost::shared_ptr;
+using boost::dynamic_pointer_cast;
+using boost::weak_ptr;
 using libdcp::Size;
 
 FilmViewer::FilmViewer (shared_ptr<Film> f, wxWindow* p)
@@ -53,19 +59,16 @@ FilmViewer::FilmViewer (shared_ptr<Film> f, wxWindow* p)
        , _slider (new wxSlider (this, wxID_ANY, 0, 0, 4096))
        , _back_button (new wxButton (this, wxID_ANY, wxT("<")))
        , _forward_button (new wxButton (this, wxID_ANY, wxT(">")))
-       , _frame (new wxStaticText (this, wxID_ANY, wxT("")))
+       , _frame_number (new wxStaticText (this, wxID_ANY, wxT("")))
        , _timecode (new wxStaticText (this, wxID_ANY, wxT("")))
        , _play_button (new wxToggleButton (this, wxID_ANY, _("Play")))
-       , _display_frame_x (0)
        , _got_frame (false)
 {
 #ifndef __WXOSX__
        _panel->SetDoubleBuffered (true);
 #endif
        
-#if wxMAJOR_VERSION == 2 && wxMINOR_VERSION >= 9
        _panel->SetBackgroundStyle (wxBG_STYLE_PAINT);
-#endif 
        
        _v_sizer = new wxBoxSizer (wxVERTICAL);
        SetSizer (_v_sizer);
@@ -75,7 +78,7 @@ FilmViewer::FilmViewer (shared_ptr<Film> f, wxWindow* p)
        wxBoxSizer* h_sizer = new wxBoxSizer (wxHORIZONTAL);
 
        wxBoxSizer* time_sizer = new wxBoxSizer (wxVERTICAL);
-       time_sizer->Add (_frame, 0, wxEXPAND);
+       time_sizer->Add (_frame_number, 0, wxEXPAND);
        time_sizer->Add (_timecode, 0, wxEXPAND);
 
        h_sizer->Add (_back_button, 0, wxALL, 2);
@@ -86,19 +89,19 @@ FilmViewer::FilmViewer (shared_ptr<Film> f, wxWindow* p)
 
        _v_sizer->Add (h_sizer, 0, wxEXPAND | wxALL, 6);
 
-       _frame->SetMinSize (wxSize (84, -1));
+       _frame_number->SetMinSize (wxSize (84, -1));
        _back_button->SetMinSize (wxSize (32, -1));
        _forward_button->SetMinSize (wxSize (32, -1));
 
-       _panel->Connect (wxID_ANY, wxEVT_PAINT, wxPaintEventHandler (FilmViewer::paint_panel), 0, this);
-       _panel->Connect (wxID_ANY, wxEVT_SIZE, wxSizeEventHandler (FilmViewer::panel_sized), 0, this);
-       _slider->Connect (wxID_ANY, wxEVT_SCROLL_THUMBTRACK, wxScrollEventHandler (FilmViewer::slider_moved), 0, this);
-       _slider->Connect (wxID_ANY, wxEVT_SCROLL_PAGEUP, wxScrollEventHandler (FilmViewer::slider_moved), 0, this);
-       _slider->Connect (wxID_ANY, wxEVT_SCROLL_PAGEDOWN, wxScrollEventHandler (FilmViewer::slider_moved), 0, this);
-       _play_button->Connect (wxID_ANY, wxEVT_COMMAND_TOGGLEBUTTON_CLICKED, wxCommandEventHandler (FilmViewer::play_clicked), 0, this);
-       _timer.Connect (wxID_ANY, wxEVT_TIMER, wxTimerEventHandler (FilmViewer::timer), 0, this);
-       _back_button->Connect (wxID_ANY, wxEVT_COMMAND_BUTTON_CLICKED, wxCommandEventHandler (FilmViewer::back_clicked), 0, this);
-       _forward_button->Connect (wxID_ANY, wxEVT_COMMAND_BUTTON_CLICKED, wxCommandEventHandler (FilmViewer::forward_clicked), 0, this);
+       _panel->Bind          (wxEVT_PAINT,                        boost::bind (&FilmViewer::paint_panel,     this));
+       _panel->Bind          (wxEVT_SIZE,                         boost::bind (&FilmViewer::panel_sized,     this, _1));
+       _slider->Bind         (wxEVT_SCROLL_THUMBTRACK,            boost::bind (&FilmViewer::slider_moved,    this));
+       _slider->Bind         (wxEVT_SCROLL_PAGEUP,                boost::bind (&FilmViewer::slider_moved,    this));
+       _slider->Bind         (wxEVT_SCROLL_PAGEDOWN,              boost::bind (&FilmViewer::slider_moved,    this));
+       _play_button->Bind    (wxEVT_COMMAND_TOGGLEBUTTON_CLICKED, boost::bind (&FilmViewer::play_clicked,    this));
+       _timer.Bind           (wxEVT_TIMER,                        boost::bind (&FilmViewer::timer,           this));
+       _back_button->Bind    (wxEVT_COMMAND_BUTTON_CLICKED,       boost::bind (&FilmViewer::back_clicked,    this));
+       _forward_button->Bind (wxEVT_COMMAND_BUTTON_CLICKED,       boost::bind (&FilmViewer::forward_clicked, this));
 
        set_film (f);
 
@@ -107,113 +110,74 @@ FilmViewer::FilmViewer (shared_ptr<Film> f, wxWindow* p)
                );
 }
 
-void
-FilmViewer::film_changed (Film::Property p)
-{
-       switch (p) {
-       case Film::FORMAT:
-               calculate_sizes ();
-               update_from_raw ();
-               break;
-       case Film::CONTENT:
-       {
-               DecodeOptions o;
-               o.decode_audio = false;
-               o.decode_subtitles = true;
-               o.video_sync = false;
-
-               try {
-                       _decoders = decoder_factory (_film, o);
-               } catch (StringError& e) {
-                       error_dialog (this, wxString::Format (_("Could not open content file (%s)"), std_to_wx(e.what()).data()));
-                       return;
-               }
-               
-               if (_decoders.video == 0) {
-                       break;
-               }
-               _decoders.video->Video.connect (bind (&FilmViewer::process_video, this, _1, _2, _3, _4));
-               _decoders.video->OutputChanged.connect (boost::bind (&FilmViewer::decoder_changed, this));
-               _decoders.video->set_subtitle_stream (_film->subtitle_stream());
-               calculate_sizes ();
-               get_frame ();
-               _panel->Refresh ();
-               _slider->Show (_film->content_type() == VIDEO);
-               _play_button->Show (_film->content_type() == VIDEO);
-               _v_sizer->Layout ();
-               break;
-       }
-       case Film::WITH_SUBTITLES:
-       case Film::SUBTITLE_OFFSET:
-       case Film::SUBTITLE_SCALE:
-       case Film::SCALER:
-       case Film::FILTERS:
-               update_from_raw ();
-               break;
-       case Film::SUBTITLE_STREAM:
-               if (_decoders.video) {
-                       _decoders.video->set_subtitle_stream (_film->subtitle_stream ());
-               }
-               break;
-       default:
-               break;
-       }
-}
-
 void
 FilmViewer::set_film (shared_ptr<Film> f)
 {
        if (_film == f) {
                return;
        }
-       
-       _film = f;
 
-       _raw_frame.reset ();
-       _display_frame.reset ();
-       _panel->Refresh ();
-       _panel->Update ();
+       _film = f;
 
+       _frame.reset ();
+       
+       _slider->SetValue (0);
+       set_position_text (0);
+       
        if (!_film) {
                return;
        }
 
-       _film->Changed.connect (boost::bind (&FilmViewer::film_changed, this, _1));
+       try {
+               _player = f->make_player ();
+       } catch (bad_alloc) {
+               error_dialog (this, _("There is not enough free memory to do that."));
+               _film.reset ();
+               return;
+       }
+       
+       _player->disable_audio ();
+       _player->set_approximate_size ();
+       _player->Video.connect (boost::bind (&FilmViewer::process_video, this, _1, _2, _5));
+       _player->Changed.connect (boost::bind (&FilmViewer::player_changed, this, _1));
 
-       film_changed (Film::CONTENT);
-       film_changed (Film::FORMAT);
-       film_changed (Film::WITH_SUBTITLES);
-       film_changed (Film::SUBTITLE_OFFSET);
-       film_changed (Film::SUBTITLE_SCALE);
-       film_changed (Film::SUBTITLE_STREAM);
+       calculate_sizes ();
+       fetch_next_frame ();
 }
 
 void
-FilmViewer::decoder_changed ()
+FilmViewer::fetch_current_frame_again ()
 {
-       if (_decoders.video == 0 || _decoders.video->seek_to_last ()) {
+       if (!_player) {
                return;
        }
 
-       get_frame ();
+       /* We could do this with a seek and a fetch_next_frame, but this is
+          a shortcut to make it quicker.
+       */
+
+       _got_frame = false;
+       if (!_player->repeat_last_video ()) {
+               fetch_next_frame ();
+       }
+       
        _panel->Refresh ();
        _panel->Update ();
 }
 
 void
-FilmViewer::timer (wxTimerEvent &)
+FilmViewer::timer ()
 {
-       if (!_film || !_decoders.video) {
+       if (!_player) {
                return;
        }
        
-       _panel->Refresh ();
-       _panel->Update ();
+       fetch_next_frame ();
 
-       get_frame ();
+       DCPTime const len = _film->length ();
 
-       if (_film->length()) {
-               int const new_slider_position = 4096 * _decoders.video->last_source_time() / (_film->length().get() / _film->source_frame_rate());
+       if (len) {
+               int const new_slider_position = 4096 * _player->video_position() / len;
                if (new_slider_position != _slider->GetValue()) {
                        _slider->SetValue (new_slider_position);
                }
@@ -222,31 +186,18 @@ FilmViewer::timer (wxTimerEvent &)
 
 
 void
-FilmViewer::paint_panel (wxPaintEvent &)
+FilmViewer::paint_panel ()
 {
        wxPaintDC dc (_panel);
 
-       if (!_display_frame || !_film || !_out_size.width || !_out_size.height) {
+       if (!_frame || !_film || !_out_size.width || !_out_size.height) {
                dc.Clear ();
                return;
        }
 
-       if (_display_frame_x) {
-               dc.SetPen(*wxBLACK_PEN);
-               dc.SetBrush(*wxBLACK_BRUSH);
-               dc.DrawRectangle (0, 0, _display_frame_x, _film_size.height);
-               dc.DrawRectangle (_display_frame_x + _film_size.width, 0, _display_frame_x, _film_size.height);
-       }
-
-       wxImage frame (_film_size.width, _film_size.height, _display_frame->data()[0], true);
+       wxImage frame (_out_size.width, _out_size.height, _frame->data()[0], true);
        wxBitmap frame_bitmap (frame);
-       dc.DrawBitmap (frame_bitmap, _display_frame_x, 0);
-
-       if (_film->with_subtitles() && _display_sub) {
-               wxImage sub (_display_sub->size().width, _display_sub->size().height, _display_sub->data()[0], _display_sub->alpha(), true);
-               wxBitmap sub_bitmap (sub);
-               dc.DrawBitmap (sub_bitmap, _display_sub_position.x, _display_sub_position.y);
-       }
+       dc.DrawBitmap (frame_bitmap, 0, 0);
 
        if (_out_size.width < _panel_size.width) {
                wxPen p (GetBackgroundColour ());
@@ -267,19 +218,18 @@ FilmViewer::paint_panel (wxPaintEvent &)
 
 
 void
-FilmViewer::slider_moved (wxScrollEvent &)
+FilmViewer::slider_moved ()
 {
-       if (!_film || !_film->length() || !_decoders.video) {
-               return;
-       }
-       
-       if (_decoders.video->seek (_slider->GetValue() * _film->length().get() / (4096 * _film->source_frame_rate()))) {
-               return;
+       if (_film && _player) {
+               try {
+                       _player->seek (_slider->GetValue() * _film->length() / 4096, false);
+                       fetch_next_frame ();
+               } catch (OpenFileError& e) {
+                       /* There was a problem opening a content file; we'll let this slide as it
+                          probably means a missing content file, which we're already taking care of.
+                       */
+               }
        }
-       
-       get_frame ();
-       _panel->Refresh ();
-       _panel->Update ();
 }
 
 void
@@ -288,72 +238,20 @@ FilmViewer::panel_sized (wxSizeEvent& ev)
        _panel_size.width = ev.GetSize().GetWidth();
        _panel_size.height = ev.GetSize().GetHeight();
        calculate_sizes ();
-       update_from_raw ();
+       fetch_current_frame_again ();
 }
 
-void
-FilmViewer::update_from_raw ()
-{
-       if (!_raw_frame) {
-               return;
-       }
-
-       raw_to_display ();
-       
-       _panel->Refresh ();
-       _panel->Update ();
-}
-
-void
-FilmViewer::raw_to_display ()
-{
-       if (!_raw_frame || _out_size.width < 64 || _out_size.height < 64 || !_film) {
-               return;
-       }
-
-       boost::shared_ptr<const Image> input = _raw_frame;
-
-       pair<string, string> const s = Filter::ffmpeg_strings (_film->filters());
-       if (!s.second.empty ()) {
-               input = input->post_process (s.second, true);
-       }
-       
-       /* Get a compacted image as we have to feed it to wxWidgets */
-       _display_frame = input->scale_and_convert_to_rgb (_film_size, 0, _film->scaler(), false);
-
-       if (_raw_sub) {
-
-               /* Our output is already cropped by the decoder, so we need to account for that
-                  when working out the scale that we are applying.
-               */
-
-               Size const cropped_size = _film->cropped_size (_film->size ());
-
-               Rect tx = subtitle_transformed_area (
-                       float (_film_size.width) / cropped_size.width,
-                       float (_film_size.height) / cropped_size.height,
-                       _raw_sub->area(), _film->subtitle_offset(), _film->subtitle_scale()
-                       );
-               
-               _display_sub.reset (new RGBPlusAlphaImage (_raw_sub->image()->scale (tx.size(), _film->scaler(), false)));
-               _display_sub_position = tx.position();
-               _display_sub_position.x += _display_frame_x;
-       } else {
-               _display_sub.reset ();
-       }
-}      
-
 void
 FilmViewer::calculate_sizes ()
 {
-       if (!_film) {
+       if (!_film || !_player) {
                return;
        }
 
-       Format const * format = _film->format ();
+       Ratio const * container = _film->container ();
        
-       float const panel_ratio = static_cast<float> (_panel_size.width) / _panel_size.height;
-       float const film_ratio = format ? format->container_ratio () : 1.78;
+       float const panel_ratio = _panel_size.ratio ();
+       float const film_ratio = container ? container->ratio () : 1.78;
                        
        if (panel_ratio < film_ratio) {
                /* panel is less widscreen than the film; clamp width */
@@ -365,25 +263,22 @@ FilmViewer::calculate_sizes ()
                _out_size.width = _out_size.height * film_ratio;
        }
 
-       /* Work out how much padding there is in terms of our display; this will be the x position
-          of our _display_frame.
-       */
-       _display_frame_x = 0;
-       if (format) {
-               _display_frame_x = static_cast<float> (format->dcp_padding (_film)) * _out_size.width / format->dcp_size().width;
-       }
+       /* Catch silly values */
+       _out_size.width = max (64, _out_size.width);
+       _out_size.height = max (64, _out_size.height);
 
-       _film_size = _out_size;
-       _film_size.width -= _display_frame_x * 2;
+       /* The player will round its image down to the nearest 4 pixels
+          to speed up its scale, so do similar here to avoid black borders
+          around things.  This is a bit of a hack.
+       */
+       _out_size.width &= ~3;
+       _out_size.height &= ~3;
 
-       /* Catch silly values */
-       if (_out_size.width < 64) {
-               _out_size.width = 64;
-       }
+       _player->set_video_container_size (_out_size);
 }
 
 void
-FilmViewer::play_clicked (wxCommandEvent &)
+FilmViewer::play_clicked ()
 {
        check_play_state ();
 }
@@ -391,31 +286,48 @@ FilmViewer::play_clicked (wxCommandEvent &)
 void
 FilmViewer::check_play_state ()
 {
-       if (!_film) {
+       if (!_film || _film->video_frame_rate() == 0) {
                return;
        }
        
        if (_play_button->GetValue()) {
-               _timer.Start (1000 / _film->source_frame_rate());
+               _timer.Start (1000 / _film->video_frame_rate());
        } else {
                _timer.Stop ();
        }
 }
 
 void
-FilmViewer::process_video (shared_ptr<const Image> image, bool, shared_ptr<Subtitle> sub, double t)
+FilmViewer::process_video (shared_ptr<PlayerImage> image, Eyes eyes, DCPTime t)
 {
-       _raw_frame = image;
-       _raw_sub = sub;
-
-       raw_to_display ();
+       if (eyes == EYES_RIGHT) {
+               return;
+       }
 
+       /* Going via BGRA here makes the scaler faster then using RGB24 directly (about
+          twice on x86 Linux).
+       */
+       shared_ptr<Image> im = image->image (PIX_FMT_BGRA, true);
+       _frame = im->scale (im->size(), Scaler::from_id ("fastbilinear"), PIX_FMT_RGB24, false);
        _got_frame = true;
 
-       double const fps = _decoders.video->frames_per_second ();
-       _frame->SetLabel (wxString::Format (wxT("%d"), int (rint (t * fps))));
+       set_position_text (t);
+}
 
-       double w = t;
+void
+FilmViewer::set_position_text (DCPTime t)
+{
+       if (!_film) {
+               _frame_number->SetLabel ("0");
+               _timecode->SetLabel ("0:0:0.0");
+               return;
+       }
+               
+       double const fps = _film->video_frame_rate ();
+       /* Count frame number from 1 ... not sure if this is the best idea */
+       _frame_number->SetLabel (wxString::Format (wxT("%d"), int (rint (t * fps / TIME_HZ)) + 1));
+       
+       double w = static_cast<double>(t) / TIME_HZ;
        int const h = (w / 3600);
        w -= h * 3600;
        int const m = (w / 60);
@@ -423,36 +335,36 @@ FilmViewer::process_video (shared_ptr<const Image> image, bool, shared_ptr<Subti
        int const s = floor (w);
        w -= s;
        int const f = rint (w * fps);
-       _timecode->SetLabel (wxString::Format (wxT("%02d:%02d:%02d:%02d"), h, m, s, f));
+       _timecode->SetLabel (wxString::Format (wxT("%02d:%02d:%02d.%02d"), h, m, s, f));
 }
 
+/** Ask the player to emit its next frame, then update our display */
 void
-FilmViewer::get_frame ()
+FilmViewer::fetch_next_frame ()
 {
-       /* Clear our raw frame in case we don't get a new one */
-       _raw_frame.reset ();
+       /* Clear our frame in case we don't get a new one */
+       _frame.reset ();
 
-       if (_decoders.video == 0) {
-               _display_frame.reset ();
+       if (!_player) {
                return;
        }
+
+       _got_frame = false;
        
        try {
-               _got_frame = false;
-               while (!_got_frame) {
-                       if (_decoders.video->pass ()) {
-                               /* We didn't get a frame before the decoder gave up,
-                                  so clear our display frame.
-                               */
-                               _display_frame.reset ();
-                               break;
-                       }
-               }
+               while (!_got_frame && !_player->pass ()) {}
        } catch (DecodeError& e) {
                _play_button->SetValue (false);
                check_play_state ();
                error_dialog (this, wxString::Format (_("Could not decode video for view (%s)"), std_to_wx(e.what()).data()));
+       } catch (OpenFileError& e) {
+               /* There was a problem opening a content file; we'll let this slide as it
+                  probably means a missing content file, which we're already taking care of.
+               */
        }
+
+       _panel->Refresh ();
+       _panel->Update ();
 }
 
 void
@@ -476,27 +388,48 @@ FilmViewer::active_jobs_changed (bool a)
 }
 
 void
-FilmViewer::back_clicked (wxCommandEvent &)
+FilmViewer::back_clicked ()
 {
-       if (!_decoders.video) {
+       if (!_player) {
                return;
        }
+
+       /* Player::video_position is the time after the last frame that we received.
+          We want to see the one before it, so we need to go back 2.
+       */
+
+       DCPTime p = _player->video_position() - _film->video_frames_to_time (2);
+       if (p < 0) {
+               p = 0;
+       }
        
-       _decoders.video->seek_back ();
-       get_frame ();
-       _panel->Refresh ();
-       _panel->Update ();
+       try {
+               _player->seek (p, true);
+               fetch_next_frame ();
+       } catch (OpenFileError& e) {
+               /* There was a problem opening a content file; we'll let this slide as it
+                  probably means a missing content file, which we're already taking care of.
+               */
+       }
 }
 
 void
-FilmViewer::forward_clicked (wxCommandEvent &)
+FilmViewer::forward_clicked ()
 {
-       if (!_decoders.video) {
+       if (!_player) {
                return;
        }
 
-       _decoders.video->seek_forward ();
-       get_frame ();
-       _panel->Refresh ();
-       _panel->Update ();
+       fetch_next_frame ();
+}
+
+void
+FilmViewer::player_changed (bool frequent)
+{
+       if (frequent) {
+               return;
+       }
+       
+       calculate_sizes ();
+       fetch_current_frame_again ();
 }