src/lib/film.cc

   1 /*
   2     Copyright (C) 2012 Carl Hetherington <cth@carlh.net>
   3
   4     This program is free software; you can redistribute it and/or modify
   5     it under the terms of the GNU General Public License as published by
   6     the Free Software Foundation; either version 2 of the License, or
   7     (at your option) any later version.
   8
   9     This program is distributed in the hope that it will be useful,
  10     but WITHOUT ANY WARRANTY; without even the implied warranty of
  11     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12     GNU General Public License for more details.
  13
  14     You should have received a copy of the GNU General Public License
  15     along with this program; if not, write to the Free Software
  16     Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  17
  18 */
  19
  20 #include <stdexcept>
  21 #include <iostream>
  22 #include <algorithm>
  23 #include <fstream>
  24 #include <cstdlib>
  25 #include <sstream>
  26 #include <iomanip>
  27 #include <unistd.h>
  28 #include <boost/filesystem.hpp>
  29 #include <boost/algorithm/string.hpp>
  30 #include "film.h"
  31 #include "format.h"
  32 #include "tiff_encoder.h"
  33 #include "job.h"
  34 #include "filter.h"
  35 #include "transcoder.h"
  36 #include "util.h"
  37 #include "job_manager.h"
  38 #include "ab_transcode_job.h"
  39 #include "transcode_job.h"
  40 #include "scp_dcp_job.h"
  41 #include "copy_from_dvd_job.h"
  42 #include "make_dcp_job.h"
  43 #include "film_state.h"
  44 #include "log.h"
  45 #include "options.h"
  46 #include "exceptions.h"
  47 #include "examine_content_job.h"
  48 #include "scaler.h"
  49 #include "decoder_factory.h"
  50 #include "config.h"
  51
  52 using namespace std;
  53 using namespace boost;
  54
  55 /** Construct a Film object in a given directory, reading any metadata
  56  *  file that exists in that directory.  An exception will be thrown if
  57  *  must_exist is true, and the specified directory does not exist.
  58  *
  59  *  @param d Film directory.
  60  *  @param must_exist true to throw an exception if does not exist.
  61  */
  62
  63 Film::Film (string d, bool must_exist)
  64         : _dirty (false)
  65 {
  66         /* Make _state.directory a complete path without ..s (where possible)
  67            (Code swiped from Adam Bowen on stackoverflow)
  68         */
  69
  70         filesystem::path p (filesystem::system_complete (d));
  71         filesystem::path result;
  72         for (filesystem::path::iterator i = p.begin(); i != p.end(); ++i) {
  73                 if (*i == "..") {
  74                         if (filesystem::is_symlink (result) || result.filename() == "..") {
  75                                 result /= *i;
  76                         } else {
  77                                 result = result.parent_path ();
  78                         }
  79                 } else if (*i != ".") {
  80                         result /= *i;
  81                 }
  82         }
  83
  84         _state.directory = result.string ();
  85
  86         if (must_exist && !filesystem::exists (_state.directory)) {
  87                 throw OpenFileError (_state.directory);
  88         }
  89
  90         read_metadata ();
  91
  92         _log = new FileLog (_state.file ("log"));
  93 }
  94
  95 /** Copy constructor */
  96 Film::Film (Film const & other)
  97         : _state (other._state)
  98         , _dirty (other._dirty)
  99 {
 100
 101 }
 102
 103 Film::~Film ()
 104 {
 105         delete _log;
 106 }
 107
 108 /** Read the `metadata' file inside this Film's directory, and fill the
 109  *  object's data with its content.
 110  */
 111
 112 void
 113 Film::read_metadata ()
 114 {
 115         ifstream f (metadata_file().c_str ());
 116         string line;
 117         while (getline (f, line)) {
 118                 if (line.empty ()) {
 119                         continue;
 120                 }
 121
 122                 if (line[0] == '#') {
 123                         continue;
 124                 }
 125
 126                 size_t const s = line.find (' ');
 127                 if (s == string::npos) {
 128                         continue;
 129                 }
 130
 131                 _state.read_metadata (line.substr (0, s), line.substr (s + 1));
 132         }
 133
 134         _dirty = false;
 135 }
 136
 137 /** Write our state to a file `metadata' inside the Film's directory */
 138 void
 139 Film::write_metadata () const
 140 {
 141         filesystem::create_directories (_state.directory);
 142
 143         ofstream f (metadata_file().c_str ());
 144         if (!f.good ()) {
 145                 throw CreateFileError (metadata_file ());
 146         }
 147
 148         _state.write_metadata (f);
 149
 150         _dirty = false;
 151 }
 152
 153 /** Set the name by which DVD-o-matic refers to this Film */
 154 void
 155 Film::set_name (string n)
 156 {
 157         _state.name = n;
 158         signal_changed (NAME);
 159 }
 160
 161 /** Set the content file for this film.
 162  *  @param c New content file; if specified as an absolute path, the content should
 163  *  be within the film's _state.directory; if specified as a relative path, the content
 164  *  will be assumed to be within the film's _state.directory.
 165  */
 166 void
 167 Film::set_content (string c)
 168 {
 169         string check = _state.directory;
 170
 171 #if BOOST_FILESYSTEM_VERSION == 3
 172         filesystem::path slash ("/");
 173         string platform_slash = slash.make_preferred().string ();
 174 #else
 175 #ifdef DVDOMATIC_WINDOWS
 176         string platform_slash = "\\";
 177 #else
 178         string platform_slash = "/";
 179 #endif
 180 #endif
 181
 182         if (!ends_with (check, platform_slash)) {
 183                 check += platform_slash;
 184         }
 185
 186         if (filesystem::path(c).has_root_directory () && starts_with (c, check)) {
 187                 c = c.substr (_state.directory.length() + 1);
 188         }
 189
 190         if (c == _state.content) {
 191                 return;
 192         }
 193
 194         /* Create a temporary decoder so that we can get information
 195            about the content.
 196         */
 197         shared_ptr<FilmState> s = state_copy ();
 198         s->content = c;
 199         shared_ptr<Options> o (new Options ("", "", ""));
 200         o->out_size = Size (1024, 1024);
 201
 202         shared_ptr<Decoder> d = decoder_factory (s, o, 0, _log);
 203
 204         _state.size = d->native_size ();
 205         _state.length = d->length_in_frames ();
 206         _state.frames_per_second = d->frames_per_second ();
 207         _state.audio_channels = d->audio_channels ();
 208         _state.audio_sample_rate = d->audio_sample_rate ();
 209         _state.audio_sample_format = d->audio_sample_format ();
 210
 211         _state.content_digest = md5_digest (s->content_path ());
 212         _state.content = c;
 213
 214         signal_changed (SIZE);
 215         signal_changed (LENGTH);
 216         signal_changed (FRAMES_PER_SECOND);
 217         signal_changed (AUDIO_CHANNELS);
 218         signal_changed (AUDIO_SAMPLE_RATE);
 219         signal_changed (CONTENT);
 220 }
 221
 222 /** Set the format that this Film should be shown in */
 223 void
 224 Film::set_format (Format const * f)
 225 {
 226         _state.format = f;
 227         signal_changed (FORMAT);
 228 }
 229
 230 /** Set the type to specify the DCP as having
 231  *  (feature, trailer etc.)
 232  */
 233 void
 234 Film::set_dcp_content_type (DCPContentType const * t)
 235 {
 236         _state.dcp_content_type = t;
 237         signal_changed (DCP_CONTENT_TYPE);
 238 }
 239
 240 /** Set the number of pixels by which to crop the left of the source video */
 241 void
 242 Film::set_left_crop (int c)
 243 {
 244         if (c == _state.crop.left) {
 245                 return;
 246         }
 247
 248         _state.crop.left = c;
 249         signal_changed (CROP);
 250 }
 251
 252 /** Set the number of pixels by which to crop the right of the source video */
 253 void
 254 Film::set_right_crop (int c)
 255 {
 256         if (c == _state.crop.right) {
 257                 return;
 258         }
 259
 260         _state.crop.right = c;
 261         signal_changed (CROP);
 262 }
 263
 264 /** Set the number of pixels by which to crop the top of the source video */
 265 void
 266 Film::set_top_crop (int c)
 267 {
 268         if (c == _state.crop.top) {
 269                 return;
 270         }
 271
 272         _state.crop.top = c;
 273         signal_changed (CROP);
 274 }
 275
 276 /** Set the number of pixels by which to crop the bottom of the source video */
 277 void
 278 Film::set_bottom_crop (int c)
 279 {
 280         if (c == _state.crop.bottom) {
 281                 return;
 282         }
 283
 284         _state.crop.bottom = c;
 285         signal_changed (CROP);
 286 }
 287
 288 /** Set the filters to apply to the image when generating thumbnails
 289  *  or a DCP.
 290  */
 291 void
 292 Film::set_filters (vector<Filter const *> const & f)
 293 {
 294         _state.filters = f;
 295         signal_changed (FILTERS);
 296 }
 297
 298 /** Set the number of frames to put in any generated DCP (from
 299  *  the start of the film).  0 indicates that all frames should
 300  *  be used.
 301  */
 302 void
 303 Film::set_dcp_frames (int n)
 304 {
 305         _state.dcp_frames = n;
 306         signal_changed (DCP_FRAMES);
 307 }
 308
 309 void
 310 Film::set_dcp_trim_action (TrimAction a)
 311 {
 312         _state.dcp_trim_action = a;
 313         signal_changed (DCP_TRIM_ACTION);
 314 }
 315
 316 /** Set whether or not to generate a A/B comparison DCP.
 317  *  Such a DCP has the left half of its frame as the Film
 318  *  content without any filtering or post-processing; the
 319  *  right half is rendered with filters and post-processing.
 320  */
 321 void
 322 Film::set_dcp_ab (bool a)
 323 {
 324         _state.dcp_ab = a;
 325         signal_changed (DCP_AB);
 326 }
 327
 328 void
 329 Film::set_audio_gain (float g)
 330 {
 331         _state.audio_gain = g;
 332         signal_changed (AUDIO_GAIN);
 333 }
 334
 335 void
 336 Film::set_audio_delay (int d)
 337 {
 338         _state.audio_delay = d;
 339         signal_changed (AUDIO_DELAY);
 340 }
 341
 342 /** @return path of metadata file */
 343 string
 344 Film::metadata_file () const
 345 {
 346         return _state.file ("metadata");
 347 }
 348
 349 /** @return full path of the content (actual video) file
 350  *  of this Film.
 351  */
 352 string
 353 Film::content () const
 354 {
 355         return _state.content_path ();
 356 }
 357
 358 /** The pre-processing GUI part of a thumbs update.
 359  *  Must be called from the GUI thread.
 360  */
 361 void
 362 Film::update_thumbs_pre_gui ()
 363 {
 364         _state.thumbs.clear ();
 365         filesystem::remove_all (_state.dir ("thumbs"));
 366
 367         /* This call will recreate the directory */
 368         _state.dir ("thumbs");
 369 }
 370
 371 /** The post-processing GUI part of a thumbs update.
 372  *  Must be called from the GUI thread.
 373  */
 374 void
 375 Film::update_thumbs_post_gui ()
 376 {
 377         string const tdir = _state.dir ("thumbs");
 378
 379         for (filesystem::directory_iterator i = filesystem::directory_iterator (tdir); i != filesystem::directory_iterator(); ++i) {
 380
 381                 /* Aah, the sweet smell of progress */
 382 #if BOOST_FILESYSTEM_VERSION == 3
 383                 string const l = filesystem::path(*i).leaf().generic_string();
 384 #else
 385                 string const l = i->leaf ();
 386 #endif
 387
 388                 size_t const d = l.find (".tiff");
 389                 if (d != string::npos) {
 390                         _state.thumbs.push_back (atoi (l.substr (0, d).c_str()));
 391                 }
 392         }
 393
 394         sort (_state.thumbs.begin(), _state.thumbs.end());
 395
 396         write_metadata ();
 397         signal_changed (THUMBS);
 398 }
 399
 400 /** @return the number of thumbnail images that we have */
 401 int
 402 Film::num_thumbs () const
 403 {
 404         return _state.thumbs.size ();
 405 }
 406
 407 /** @param n A thumb index.
 408  *  @return The frame within the Film that it is for.
 409  */
 410 int
 411 Film::thumb_frame (int n) const
 412 {
 413         return _state.thumb_frame (n);
 414 }
 415
 416 /** @param n A thumb index.
 417  *  @return The path to the thumb's image file.
 418  */
 419 string
 420 Film::thumb_file (int n) const
 421 {
 422         return _state.thumb_file (n);
 423 }
 424
 425 /** @return The path to the directory to write JPEG2000 files to */
 426 string
 427 Film::j2k_dir () const
 428 {
 429         assert (format());
 430
 431         filesystem::path p;
 432
 433         /* Start with j2c */
 434         p /= "j2c";
 435
 436         pair<string, string> f = Filter::ffmpeg_strings (filters ());
 437
 438         /* Write stuff to specify the filter / post-processing settings that are in use,
 439            so that we don't get confused about J2K files generated using different
 440            settings.
 441         */
 442         stringstream s;
 443         s << _state.format->id()
 444           << "_" << _state.content_digest
 445           << "_" << crop().left << "_" << crop().right << "_" << crop().top << "_" << crop().bottom
 446           << "_" << f.first << "_" << f.second
 447           << "_" << _state.scaler->id();
 448
 449         p /= s.str ();
 450
 451         /* Similarly for the A/B case */
 452         if (dcp_ab()) {
 453                 stringstream s;
 454                 pair<string, string> fa = Filter::ffmpeg_strings (Config::instance()->reference_filters());
 455                 s << "ab_" << Config::instance()->reference_scaler()->id() << "_" << fa.first << "_" << fa.second;
 456                 p /= s.str ();
 457         }
 458
 459         return _state.dir (p.string ());
 460 }
 461
 462 /** Handle a change to the Film's metadata */
 463 void
 464 Film::signal_changed (Property p)
 465 {
 466         _dirty = true;
 467         Changed (p);
 468 }
 469
 470 /** Add suitable Jobs to the JobManager to create a DCP for this Film.
 471  *  @param true to transcode, false to use the WAV and J2K files that are already there.
 472  */
 473 void
 474 Film::make_dcp (bool transcode, int freq)
 475 {
 476         string const t = name ();
 477         if (t.find ("/") != string::npos) {
 478                 throw BadSettingError ("name", "cannot contain slashes");
 479         }
 480
 481         {
 482                 stringstream s;
 483                 s << "DVD-o-matic " << DVDOMATIC_VERSION << " using " << dependency_version_summary ();
 484                 log()->log (s.str ());
 485         }
 486
 487         {
 488                 char buffer[128];
 489                 gethostname (buffer, sizeof (buffer));
 490                 stringstream s;
 491                 s << "Starting to make a DCP on " << buffer;
 492                 log()->log (s.str ());
 493         }
 494
 495         if (format() == 0) {
 496                 throw MissingSettingError ("format");
 497         }
 498
 499         if (content().empty ()) {
 500                 throw MissingSettingError ("content");
 501         }
 502
 503         if (dcp_content_type() == 0) {
 504                 throw MissingSettingError ("content type");
 505         }
 506
 507         if (name().empty()) {
 508                 throw MissingSettingError ("name");
 509         }
 510
 511         shared_ptr<const FilmState> fs = state_copy ();
 512         shared_ptr<Options> o (new Options (j2k_dir(), ".j2c", _state.dir ("wavs")));
 513         o->out_size = format()->dcp_size ();
 514         if (dcp_frames() == 0) {
 515                 /* Decode the whole film, no blacking */
 516                 o->num_frames = 0;
 517                 o->black_after = 0;
 518         } else {
 519                 switch (dcp_trim_action()) {
 520                 case CUT:
 521                         /* Decode only part of the film, no blacking */
 522                         o->num_frames = dcp_frames ();
 523                         o->black_after = 0;
 524                         break;
 525                 case BLACK_OUT:
 526                         /* Decode the whole film, but black some frames out */
 527                         o->num_frames = 0;
 528                         o->black_after = dcp_frames ();
 529                 }
 530         }
 531
 532         o->decode_video_frequency = freq;
 533         o->padding = format()->dcp_padding ();
 534         o->ratio = format()->ratio_as_float ();
 535
 536         if (transcode) {
 537                 if (_state.dcp_ab) {
 538                         JobManager::instance()->add (shared_ptr<Job> (new ABTranscodeJob (fs, o, log ())));
 539                 } else {
 540                         JobManager::instance()->add (shared_ptr<Job> (new TranscodeJob (fs, o, log ())));
 541                 }
 542         }
 543
 544         JobManager::instance()->add (shared_ptr<Job> (new MakeDCPJob (fs, o, log ())));
 545 }
 546
 547 shared_ptr<FilmState>
 548 Film::state_copy () const
 549 {
 550         return shared_ptr<FilmState> (new FilmState (_state));
 551 }
 552
 553 void
 554 Film::copy_from_dvd_post_gui ()
 555 {
 556         const string dvd_dir = _state.dir ("dvd");
 557
 558         string largest_file;
 559         uintmax_t largest_size = 0;
 560         for (filesystem::directory_iterator i = filesystem::directory_iterator (dvd_dir); i != filesystem::directory_iterator(); ++i) {
 561                 uintmax_t const s = filesystem::file_size (*i);
 562                 if (s > largest_size) {
 563
 564 #if BOOST_FILESYSTEM_VERSION == 3
 565                         largest_file = filesystem::path(*i).generic_string();
 566 #else
 567                         largest_file = i->string ();
 568 #endif
 569                         largest_size = s;
 570                 }
 571         }
 572
 573         set_content (largest_file);
 574 }
 575
 576 void
 577 Film::examine_content ()
 578 {
 579         if (_examine_content_job) {
 580                 return;
 581         }
 582
 583         _examine_content_job.reset (new ExamineContentJob (state_copy (), log ()));
 584         _examine_content_job->Finished.connect (sigc::mem_fun (*this, &Film::examine_content_post_gui));
 585         JobManager::instance()->add (_examine_content_job);
 586 }
 587
 588 void
 589 Film::examine_content_post_gui ()
 590 {
 591         _state.length = _examine_content_job->last_video_frame ();
 592         signal_changed (LENGTH);
 593
 594         _examine_content_job.reset ();
 595 }
 596
 597 void
 598 Film::set_scaler (Scaler const * s)
 599 {
 600         _state.scaler = s;
 601         signal_changed (SCALER);
 602 }
 603
 604 /** @return full paths to any audio files that this Film has */
 605 vector<string>
 606 Film::audio_files () const
 607 {
 608         vector<string> f;
 609         for (filesystem::directory_iterator i = filesystem::directory_iterator (_state.dir("wavs")); i != filesystem::directory_iterator(); ++i) {
 610                 f.push_back (i->path().string ());
 611         }
 612
 613         return f;
 614 }
 615
 616 ContentType
 617 Film::content_type () const
 618 {
 619         return _state.content_type ();
 620 }
 621
 622 void
 623 Film::set_still_duration (int d)
 624 {
 625         _state.still_duration = d;
 626         signal_changed (STILL_DURATION);
 627 }
 628
 629 void
 630 Film::send_dcp_to_tms ()
 631 {
 632         shared_ptr<Job> j (new SCPDCPJob (state_copy (), log ()));
 633         JobManager::instance()->add (j);
 634 }
 635
 636 void
 637 Film::copy_from_dvd ()
 638 {
 639         shared_ptr<Job> j (new CopyFromDVDJob (state_copy (), log ()));
 640         j->Finished.connect (sigc::mem_fun (*this, &Film::copy_from_dvd_post_gui));
 641         JobManager::instance()->add (j);
 642 }
 643
 644 int
 645 Film::encoded_frames () const
 646 {
 647         if (format() == 0) {
 648                 return 0;
 649         }
 650
 651         int N = 0;
 652         for (filesystem::directory_iterator i = filesystem::directory_iterator (j2k_dir ()); i != filesystem::directory_iterator(); ++i) {
 653                 ++N;
 654                 this_thread::interruption_point ();
 655         }
 656
 657         return N;
 658 }