src/lib/matcher.cc

   1 /*
   2     Copyright (C) 2012 Carl Hetherington <cth@carlh.net>
   3
   4     This program is free software; you can redistribute it and/or modify
   5     it under the terms of the GNU General Public License as published by
   6     the Free Software Foundation; either version 2 of the License, or
   7     (at your option) any later version.
   8
   9     This program is distributed in the hope that it will be useful,
  10     but WITHOUT ANY WARRANTY; without even the implied warranty of
  11     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12     GNU General Public License for more details.
  13
  14     You should have received a copy of the GNU General Public License
  15     along with this program; if not, write to the Free Software
  16     Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  17
  18 */
  19
  20 #include "matcher.h"
  21 #include "image.h"
  22 #include "log.h"
  23
  24 #include "i18n.h"
  25
  26 using std::min;
  27 using std::cout;
  28 using std::list;
  29 using boost::shared_ptr;
  30
  31 Matcher::Matcher (Log* log, int sample_rate, float frames_per_second)
  32         : Processor (log)
  33         , _sample_rate (sample_rate)
  34         , _frames_per_second (frames_per_second)
  35         , _video_frames (0)
  36         , _audio_frames (0)
  37 {
  38
  39 }
  40
  41 void
  42 Matcher::process_video (boost::shared_ptr<Image> image, bool same, boost::shared_ptr<Subtitle> sub, double t)
  43 {
  44         _pixel_format = image->pixel_format ();
  45         _size = image->size ();
  46
  47         if (!_first_input) {
  48                 _first_input = t;
  49         }
  50
  51         if (_audio_frames == 0 && _pending_audio.empty ()) {
  52                 /* No audio yet; we must postpone this frame until we have some */
  53                 _pending_video.push_back (VideoRecord (image, same, sub, t));
  54         } else if (!_pending_audio.empty() && _pending_video.empty ()) {
  55                 /* First video since we got audio */
  56                 _pending_video.push_back (VideoRecord (image, same, sub, t));
  57                 fix_start ();
  58         } else {
  59                 /* Normal running */
  60
  61                 /* Difference between where this video is and where it should be */
  62                 double const delta = t - _first_input.get() - _video_frames / _frames_per_second;
  63                 double const one_frame = 1 / _frames_per_second;
  64
  65                 if (delta > one_frame) {
  66                         /* Insert frames to make up the difference */
  67                         int const extra = rint (delta / one_frame);
  68                         for (int i = 0; i < extra; ++i) {
  69                                 repeat_last_video ();
  70                                 _log->log (String::compose ("Extra video frame inserted at %1s", _video_frames / _frames_per_second));
  71                         }
  72                 }
  73
  74                 if (delta > -one_frame) {
  75                         Video (image, same, sub);
  76                         ++_video_frames;
  77                 } else {
  78                         /* We are omitting a frame to keep things right */
  79                         _log->log (String::compose ("Frame removed at %1s", t));
  80                 }
  81         }
  82
  83         _last_image = image;
  84         _last_subtitle = sub;
  85 }
  86
  87 void
  88 Matcher::process_audio (boost::shared_ptr<AudioBuffers> b, double t)
  89 {
  90         _channels = b->channels ();
  91
  92         if (!_first_input) {
  93                 _first_input = t;
  94         }
  95
  96         if (_video_frames == 0 && _pending_video.empty ()) {
  97                 /* No video yet; we must postpone these data until we have some */
  98                 _pending_audio.push_back (AudioRecord (b, t));
  99         } else if (!_pending_video.empty() && _pending_audio.empty ()) {
 100                 /* First audio since we got video */
 101                 _pending_audio.push_back (AudioRecord (b, t));
 102                 fix_start ();
 103         } else {
 104                 /* Normal running.  We assume audio time stamps are consecutive */
 105                 Audio (b);
 106                 _audio_frames += b->frames ();
 107         }
 108 }
 109
 110 void
 111 Matcher::process_end ()
 112 {
 113         if (_audio_frames == 0 || !_pixel_format || !_size || !_channels) {
 114                 /* We won't do anything */
 115                 return;
 116         }
 117
 118         match ((double (_audio_frames) / _sample_rate) - (double (_video_frames) / _frames_per_second));
 119 }
 120
 121 void
 122 Matcher::fix_start ()
 123 {
 124         assert (!_pending_video.empty ());
 125         assert (!_pending_audio.empty ());
 126
 127         _log->log (String::compose ("Fixing start; video at %1, audio at %2", _pending_video.front().time, _pending_audio.front().time));
 128
 129         match (_pending_video.front().time - _pending_audio.front().time);
 130
 131         for (list<VideoRecord>::iterator i = _pending_video.begin(); i != _pending_video.end(); ++i) {
 132                 Video (i->image, i->same, i->subtitle);
 133         }
 134
 135         for (list<AudioRecord>::iterator i = _pending_audio.begin(); i != _pending_audio.end(); ++i) {
 136                 Audio (i->audio);
 137         }
 138
 139         _pending_video.clear ();
 140         _pending_audio.clear ();
 141 }
 142
 143 void
 144 Matcher::match (double extra_video_needed)
 145 {
 146         if (extra_video_needed > 0) {
 147
 148                 /* Emit black video frames */
 149
 150                 int const black_video_frames = ceil (extra_video_needed * _frames_per_second);
 151
 152                 _log->log (String::compose (N_("Emitting %1 frames of black video"), black_video_frames));
 153
 154                 shared_ptr<Image> black (new SimpleImage (_pixel_format.get(), _size.get(), true));
 155                 black->make_black ();
 156                 for (int i = 0; i < black_video_frames; ++i) {
 157                         Video (black, i != 0, shared_ptr<Subtitle>());
 158                         ++_video_frames;
 159                 }
 160
 161                 extra_video_needed -= black_video_frames / _frames_per_second;
 162         }
 163
 164         if (extra_video_needed < 0) {
 165
 166                 /* Emit silence */
 167
 168                 int64_t to_do = rint (-extra_video_needed * _sample_rate);
 169                 _log->log (String::compose (N_("Emitted %1 frames of silence"), to_do));
 170
 171                 /* Do things in half second blocks as I think there may be limits
 172                    to what FFmpeg (and in particular the resampler) can cope with.
 173                 */
 174                 int64_t const block = _sample_rate / 2;
 175                 shared_ptr<AudioBuffers> b (new AudioBuffers (_channels.get(), block));
 176                 b->make_silent ();
 177
 178                 while (to_do > 0) {
 179                         int64_t const this_time = min (to_do, block);
 180                         b->set_frames (this_time);
 181                         Audio (b);
 182                         _audio_frames += b->frames ();
 183                         to_do -= this_time;
 184                 }
 185         }
 186 }
 187
 188 void
 189 Matcher::repeat_last_video ()
 190 {
 191         if (!_last_image) {
 192                 _last_image.reset (new SimpleImage (_pixel_format.get(), _size.get(), true));
 193                 _last_image->make_black ();
 194         }
 195
 196         Video (_last_image, true, _last_subtitle);
 197         ++_video_frames;
 198 }
 199