Try to fix up paths for video MXFs, hashes and temporarily-stored frames.
[dcpomatic.git] / src / lib / film.cc
index 9c351a64df9f344090088da2f4038cc31f9f27fc..dc308078c2e31aaa72ea672b8aa4f1ee38ccf347 100644 (file)
@@ -31,7 +31,6 @@
 #include <boost/date_time.hpp>
 #include "film.h"
 #include "format.h"
-#include "imagemagick_encoder.h"
 #include "job.h"
 #include "filter.h"
 #include "transcoder.h"
@@ -40,8 +39,6 @@
 #include "ab_transcode_job.h"
 #include "transcode_job.h"
 #include "scp_dcp_job.h"
-#include "copy_from_dvd_job.h"
-#include "make_dcp_job.h"
 #include "log.h"
 #include "options.h"
 #include "exceptions.h"
 #include "scaler.h"
 #include "decoder_factory.h"
 #include "config.h"
-#include "check_hashes_job.h"
 #include "version.h"
 #include "ui_signaller.h"
+#include "video_decoder.h"
+#include "audio_decoder.h"
+#include "external_audio_decoder.h"
 
 using std::string;
 using std::stringstream;
@@ -63,11 +62,17 @@ using std::ifstream;
 using std::ofstream;
 using std::setfill;
 using std::min;
+using std::make_pair;
+using std::cout;
 using boost::shared_ptr;
 using boost::lexical_cast;
 using boost::to_upper_copy;
 using boost::ends_with;
 using boost::starts_with;
+using boost::optional;
+using libdcp::Size;
+
+int const Film::state_version = 2;
 
 /** Construct a Film object in a given directory, reading any metadata
  *  file that exists in that directory.  An exception will be thrown if
@@ -78,22 +83,23 @@ using boost::starts_with;
  */
 
 Film::Film (string d, bool must_exist)
-       : _use_dci_name (false)
+       : _use_dci_name (true)
+       , _trust_content_header (true)
        , _dcp_content_type (0)
        , _format (0)
        , _scaler (Scaler::from_id ("bicubic"))
-       , _dcp_trim_action (CUT)
+       , _trim_start (0)
+       , _trim_end (0)
        , _dcp_ab (false)
-       , _audio_stream (-1)
+       , _use_content_audio (true)
        , _audio_gain (0)
        , _audio_delay (0)
        , _still_duration (10)
-       , _subtitle_stream (-1)
        , _with_subtitles (false)
        , _subtitle_offset (0)
        , _subtitle_scale (1)
-       , _audio_sample_rate (0)
-       , _has_subtitles (false)
+       , _colour_lut (0)
+       , _j2k_bandwidth (200000000)
        , _frames_per_second (0)
        , _dirty (false)
 {
@@ -125,27 +131,35 @@ Film::Film (string d, bool must_exist)
                }
        }
 
-       read_metadata ();
+       _external_audio_stream = ExternalAudioStream::create ();
+       
+       if (must_exist) {
+               read_metadata ();
+       }
 
        _log = new FileLog (file ("log"));
        set_dci_date_today ();
 }
 
 Film::Film (Film const & o)
-       : _log (0)
+       : boost::enable_shared_from_this<Film> (o)
+       , _log (0)
        , _directory         (o._directory)
        , _name              (o._name)
        , _use_dci_name      (o._use_dci_name)
        , _content           (o._content)
+       , _trust_content_header (o._trust_content_header)
        , _dcp_content_type  (o._dcp_content_type)
        , _format            (o._format)
        , _crop              (o._crop)
        , _filters           (o._filters)
        , _scaler            (o._scaler)
-       , _dcp_frames        (o._dcp_frames)
-       , _dcp_trim_action   (o._dcp_trim_action)
+       , _trim_start        (o._trim_start)
+       , _trim_end          (o._trim_end)
        , _dcp_ab            (o._dcp_ab)
-       , _audio_stream      (o._audio_stream)
+       , _content_audio_stream (o._content_audio_stream)
+       , _external_audio    (o._external_audio)
+       , _use_content_audio (o._use_content_audio)
        , _audio_gain        (o._audio_gain)
        , _audio_delay       (o._audio_delay)
        , _still_duration    (o._still_duration)
@@ -153,6 +167,8 @@ Film::Film (Film const & o)
        , _with_subtitles    (o._with_subtitles)
        , _subtitle_offset   (o._subtitle_offset)
        , _subtitle_scale    (o._subtitle_scale)
+       , _colour_lut        (o._colour_lut)
+       , _j2k_bandwidth     (o._j2k_bandwidth)
        , _audio_language    (o._audio_language)
        , _subtitle_language (o._subtitle_language)
        , _territory         (o._territory)
@@ -160,13 +176,12 @@ Film::Film (Film const & o)
        , _studio            (o._studio)
        , _facility          (o._facility)
        , _package_type      (o._package_type)
-       , _thumbs            (o._thumbs)
        , _size              (o._size)
        , _length            (o._length)
-       , _audio_sample_rate (o._audio_sample_rate)
+       , _dcp_intrinsic_duration (o._dcp_intrinsic_duration)
        , _content_digest    (o._content_digest)
-       , _has_subtitles     (o._has_subtitles)
-       , _audio_streams     (o._audio_streams)
+       , _content_audio_streams (o._content_audio_streams)
+       , _external_audio_stream (o._external_audio_stream)
        , _subtitle_streams  (o._subtitle_streams)
        , _frames_per_second (o._frames_per_second)
        , _dirty             (o._dirty)
@@ -178,44 +193,50 @@ Film::~Film ()
 {
        delete _log;
 }
-         
-/** @return The path to the directory to write JPEG2000 files to */
+
 string
-Film::j2k_dir () const
+Film::video_state_identifier () const
 {
-       assert (format());
-
-       boost::filesystem::path p;
-
-       /* Start with j2c */
-       p /= "j2c";
+       assert (format ());
 
        pair<string, string> f = Filter::ffmpeg_strings (filters());
 
-       /* Write stuff to specify the filter / post-processing settings that are in use,
-          so that we don't get confused about J2K files generated using different
-          settings.
-       */
        stringstream s;
        s << format()->id()
          << "_" << content_digest()
          << "_" << crop().left << "_" << crop().right << "_" << crop().top << "_" << crop().bottom
          << "_" << f.first << "_" << f.second
-         << "_" << scaler()->id();
+         << "_" << scaler()->id()
+         << "_" << j2k_bandwidth()
+         << "_" << boost::lexical_cast<int> (colour_lut());
 
-       p /= s.str ();
-
-       /* Similarly for the A/B case */
        if (dcp_ab()) {
-               stringstream s;
                pair<string, string> fa = Filter::ffmpeg_strings (Config::instance()->reference_filters());
                s << "ab_" << Config::instance()->reference_scaler()->id() << "_" << fa.first << "_" << fa.second;
-               p /= s.str ();
        }
-       
+
+       return s.str ();
+}
+         
+/** @return The path to the directory to write video frame hash files to */
+string
+Film::hash_dir () const
+{
+       boost::filesystem::path p;
+       p /= "hash";
+       p /= video_state_identifier ();
        return dir (p.string());
 }
 
+string
+Film::video_mxf_path () const
+{
+       boost::filesystem::path p;
+       p /= "video";
+       p /= video_state_identifier ();
+       return file (p.string());
+}
+
 /** Add suitable Jobs to the JobManager to create a DCP for this Film.
  *  @param true to transcode, false to use the WAV and J2K files that are already there.
  */
@@ -235,7 +256,27 @@ Film::make_dcp (bool transcode)
                gethostname (buffer, sizeof (buffer));
                log()->log (String::compose ("Starting to make DCP on %1", buffer));
        }
-               
+       
+       log()->log (String::compose ("Content is %1; type %2", content_path(), (content_type() == STILL ? "still" : "video")));
+       if (length()) {
+               log()->log (String::compose ("Content length %1", length().get()));
+       }
+       log()->log (String::compose ("Content digest %1", content_digest()));
+       log()->log (String::compose ("%1 threads", Config::instance()->num_local_encoding_threads()));
+       log()->log (String::compose ("J2K bandwidth %1", j2k_bandwidth()));
+#ifdef DVDOMATIC_DEBUG
+       log()->log ("DVD-o-matic built in debug mode.");
+#else
+       log()->log ("DVD-o-matic built in optimised mode.");
+#endif
+#ifdef LIBDCP_DEBUG
+       log()->log ("libdcp built in debug mode.");
+#else
+       log()->log ("libdcp built in optimised mode.");
+#endif
+       pair<string, int> const c = cpu_info ();
+       log()->log (String::compose ("CPU: %1, %2 processors", c.first, c.second));
+       
        if (format() == 0) {
                throw MissingSettingError ("format");
        }
@@ -252,39 +293,18 @@ Film::make_dcp (bool transcode)
                throw MissingSettingError ("name");
        }
 
-       shared_ptr<Options> o (new Options (j2k_dir(), ".j2c", dir ("wavs")));
-       o->out_size = format()->dcp_size ();
-       if (!dcp_frames()) {
-               /* Decode the whole film, no blacking */
-               o->black_after = 0;
-       } else {
-               switch (dcp_trim_action()) {
-               case CUT:
-                       /* Decode only part of the film, no blacking */
-                       o->black_after = 0;
-                       break;
-               case BLACK_OUT:
-                       /* Decode the whole film, but black some frames out */
-                       o->black_after = dcp_frames().get ();
-               }
-       }
-       
-       o->padding = format()->dcp_padding (shared_from_this ());
-       o->ratio = format()->ratio_as_float (shared_from_this ());
-       o->decode_subtitles = with_subtitles ();
+       DecodeOptions od;
+       od.decode_subtitles = with_subtitles ();
 
        shared_ptr<Job> r;
 
        if (transcode) {
                if (dcp_ab()) {
-                       r = JobManager::instance()->add (shared_ptr<Job> (new ABTranscodeJob (shared_from_this(), o, shared_ptr<Job> ())));
+                       r = JobManager::instance()->add (shared_ptr<Job> (new ABTranscodeJob (shared_from_this(), od, shared_ptr<Job> ())));
                } else {
-                       r = JobManager::instance()->add (shared_ptr<Job> (new TranscodeJob (shared_from_this(), o, shared_ptr<Job> ())));
+                       r = JobManager::instance()->add (shared_ptr<Job> (new TranscodeJob (shared_from_this(), od, shared_ptr<Job> ())));
                }
        }
-
-       r = JobManager::instance()->add (shared_ptr<Job> (new CheckHashesJob (shared_from_this(), o, r)));
-       JobManager::instance()->add (shared_ptr<Job> (new MakeDCPJob (shared_from_this(), o, r)));
 }
 
 /** Start a job to examine our content file */
@@ -295,12 +315,6 @@ Film::examine_content ()
                return;
        }
 
-       set_thumbs (vector<int> ());
-       boost::filesystem::remove_all (dir ("thumbs"));
-
-       /* This call will recreate the directory */
-       dir ("thumbs");
-       
        _examine_content_job.reset (new ExamineContentJob (shared_from_this(), shared_ptr<Job> ()));
        _examine_content_job->Finished.connect (bind (&Film::examine_content_finished, this));
        JobManager::instance()->add (_examine_content_job);
@@ -312,18 +326,6 @@ Film::examine_content_finished ()
        _examine_content_job.reset ();
 }
 
-/** @return full paths to any audio files that this Film has */
-vector<string>
-Film::audio_files () const
-{
-       vector<string> f;
-       for (boost::filesystem::directory_iterator i = boost::filesystem::directory_iterator (dir("wavs")); i != boost::filesystem::directory_iterator(); ++i) {
-               f.push_back (i->path().string ());
-       }
-
-       return f;
-}
-
 /** Start a job to send our DCP to the configured TMS */
 void
 Film::send_dcp_to_tms ()
@@ -332,13 +334,6 @@ Film::send_dcp_to_tms ()
        JobManager::instance()->add (j);
 }
 
-void
-Film::copy_from_dvd ()
-{
-       shared_ptr<Job> j (new CopyFromDVDJob (shared_from_this(), shared_ptr<Job> ()));
-       JobManager::instance()->add (j);
-}
-
 /** Count the number of frames that have been encoded for this film.
  *  @return frame count.
  */
@@ -350,7 +345,7 @@ Film::encoded_frames () const
        }
 
        int N = 0;
-       for (boost::filesystem::directory_iterator i = boost::filesystem::directory_iterator (j2k_dir ()); i != boost::filesystem::directory_iterator(); ++i) {
+       for (boost::filesystem::directory_iterator i = boost::filesystem::directory_iterator (hash_dir ()); i != boost::filesystem::directory_iterator(); ++i) {
                ++N;
                boost::this_thread::interruption_point ();
        }
@@ -358,35 +353,6 @@ Film::encoded_frames () const
        return N;
 }
 
-/** Return the filename of a subtitle image if one exists for a given thumb index.
- *  @param Thumbnail index.
- *  @return Position of the image within the source frame, and the image filename, if one exists.
- *  Otherwise the filename will be empty.
- */
-pair<Position, string>
-Film::thumb_subtitle (int n) const
-{
-       string sub_file = thumb_base(n) + ".sub";
-       if (!boost::filesystem::exists (sub_file)) {
-               return pair<Position, string> ();
-       }
-
-       pair<Position, string> sub;
-       
-       ifstream f (sub_file.c_str ());
-       multimap<string, string> kv = read_key_value (f);
-       for (map<string, string>::const_iterator i = kv.begin(); i != kv.end(); ++i) {
-               if (i->first == "x") {
-                       sub.first.x = lexical_cast<int> (i->second);
-               } else if (i->first == "y") {
-                       sub.first.y = lexical_cast<int> (i->second);
-                       sub.second = String::compose ("%1.sub.png", thumb_base(n));
-               }
-       }
-       
-       return sub;
-}
-
 /** Write state to our `metadata' file */
 void
 Film::write_metadata () const
@@ -401,10 +367,13 @@ Film::write_metadata () const
                throw CreateFileError (m);
        }
 
+       f << "version " << state_version << "\n";
+
        /* User stuff */
        f << "name " << _name << "\n";
        f << "use_dci_name " << _use_dci_name << "\n";
        f << "content " << _content << "\n";
+       f << "trust_content_header " << (_trust_content_header ? "1" : "0") << "\n";
        if (_dcp_content_type) {
                f << "dcp_content_type " << _dcp_content_type->pretty_name () << "\n";
        }
@@ -419,27 +388,27 @@ Film::write_metadata () const
                f << "filter " << (*i)->id () << "\n";
        }
        f << "scaler " << _scaler->id () << "\n";
-       f << "dcp_frames " << _dcp_frames.get_value_or(0) << "\n";
-
-       f << "dcp_trim_action ";
-       switch (_dcp_trim_action) {
-       case CUT:
-               f << "cut\n";
-               break;
-       case BLACK_OUT:
-               f << "black_out\n";
-               break;
-       }
-       
+       f << "trim_start " << _trim_start << "\n";
+       f << "trim_end " << _trim_end << "\n";
        f << "dcp_ab " << (_dcp_ab ? "1" : "0") << "\n";
-       f << "selected_audio_stream " << _audio_stream << "\n";
+       if (_content_audio_stream) {
+               f << "selected_content_audio_stream " << _content_audio_stream->to_string() << "\n";
+       }
+       for (vector<string>::const_iterator i = _external_audio.begin(); i != _external_audio.end(); ++i) {
+               f << "external_audio " << *i << "\n";
+       }
+       f << "use_content_audio " << (_use_content_audio ? "1" : "0") << "\n";
        f << "audio_gain " << _audio_gain << "\n";
        f << "audio_delay " << _audio_delay << "\n";
        f << "still_duration " << _still_duration << "\n";
-       f << "selected_subtitle_stream " << _subtitle_stream << "\n";
+       if (_subtitle_stream) {
+               f << "selected_subtitle_stream " << _subtitle_stream->to_string() << "\n";
+       }
        f << "with_subtitles " << _with_subtitles << "\n";
        f << "subtitle_offset " << _subtitle_offset << "\n";
        f << "subtitle_scale " << _subtitle_scale << "\n";
+       f << "colour_lut " << _colour_lut << "\n";
+       f << "j2k_bandwidth " << _j2k_bandwidth << "\n";
        f << "audio_language " << _audio_language << "\n";
        f << "subtitle_language " << _subtitle_language << "\n";
        f << "territory " << _territory << "\n";
@@ -448,25 +417,20 @@ Film::write_metadata () const
        f << "facility " << _facility << "\n";
        f << "package_type " << _package_type << "\n";
 
-       /* Cached stuff; this is information about our content; we could
-          look it up each time, but that's slow.
-       */
-       for (vector<int>::const_iterator i = _thumbs.begin(); i != _thumbs.end(); ++i) {
-               f << "thumb " << *i << "\n";
-       }
        f << "width " << _size.width << "\n";
        f << "height " << _size.height << "\n";
        f << "length " << _length.get_value_or(0) << "\n";
-       f << "audio_sample_rate " << _audio_sample_rate << "\n";
+       f << "dcp_intrinsic_duration " << _dcp_intrinsic_duration.get_value_or(0) << "\n";
        f << "content_digest " << _content_digest << "\n";
-       f << "has_subtitles " << _has_subtitles << "\n";
 
-       for (vector<AudioStream>::const_iterator i = _audio_streams.begin(); i != _audio_streams.end(); ++i) {
-               f << "audio_stream " << i->to_string () << "\n";
+       for (vector<shared_ptr<AudioStream> >::const_iterator i = _content_audio_streams.begin(); i != _content_audio_streams.end(); ++i) {
+               f << "content_audio_stream " << (*i)->to_string () << "\n";
        }
 
-       for (vector<SubtitleStream>::const_iterator i = _subtitle_streams.begin(); i != _subtitle_streams.end(); ++i) {
-               f << "subtitle_stream " << i->to_string () << "\n";
+       f << "external_audio_stream " << _external_audio_stream->to_string() << "\n";
+
+       for (vector<shared_ptr<SubtitleStream> >::const_iterator i = _subtitle_streams.begin(); i != _subtitle_streams.end(); ++i) {
+               f << "subtitle_stream " << (*i)->to_string () << "\n";
        }
 
        f << "frames_per_second " << _frames_per_second << "\n";
@@ -479,13 +443,39 @@ void
 Film::read_metadata ()
 {
        boost::mutex::scoped_lock lm (_state_mutex);
-       
+
+       _external_audio.clear ();
+       _content_audio_streams.clear ();
+       _subtitle_streams.clear ();
+
+       boost::optional<int> version;
+
+       /* Backward compatibility things */
+       boost::optional<int> audio_sample_rate;
+       boost::optional<int> audio_stream_index;
+       boost::optional<int> subtitle_stream_index;
+
        ifstream f (file ("metadata").c_str());
+       if (!f.good()) {
+               throw OpenFileError (file("metadata"));
+       }
+       
        multimap<string, string> kv = read_key_value (f);
+
+       /* We need version before anything else */
+       multimap<string, string>::iterator v = kv.find ("version");
+       if (v != kv.end ()) {
+               version = atoi (v->second.c_str());
+       }
+       
        for (multimap<string, string>::const_iterator i = kv.begin(); i != kv.end(); ++i) {
                string const k = i->first;
                string const v = i->second;
 
+               if (k == "audio_sample_rate") {
+                       audio_sample_rate = atoi (v.c_str());
+               }
+
                /* User-specified stuff */
                if (k == "name") {
                        _name = v;
@@ -493,6 +483,8 @@ Film::read_metadata ()
                        _use_dci_name = (v == "1");
                } else if (k == "content") {
                        _content = v;
+               } else if (k == "trust_content_header") {
+                       _trust_content_header = (v == "1");
                } else if (k == "dcp_content_type") {
                        _dcp_content_type = DCPContentType::from_pretty_name (v);
                } else if (k == "format") {
@@ -509,21 +501,22 @@ Film::read_metadata ()
                        _filters.push_back (Filter::from_id (v));
                } else if (k == "scaler") {
                        _scaler = Scaler::from_id (v);
-               } else if (k == "dcp_frames") {
-                       int const vv = atoi (v.c_str ());
-                       if (vv) {
-                               _dcp_frames = vv;
-                       }
-               } else if (k == "dcp_trim_action") {
-                       if (v == "cut") {
-                               _dcp_trim_action = CUT;
-                       } else if (v == "black_out") {
-                               _dcp_trim_action = BLACK_OUT;
-                       }
+               } else if ( ((!version || version < 2) && k == "trim_start") || k == "trim_start") {
+                       _trim_start = atoi (v.c_str ());
+               } else if ( ((!version || version < 2) && k == "trim_end") || k == "trim_end") {
+                       _trim_end = atoi (v.c_str ());
                } else if (k == "dcp_ab") {
                        _dcp_ab = (v == "1");
-               } else if (k == "selected_audio_stream") {
-                       _audio_stream = atoi (v.c_str ());
+               } else if (k == "selected_content_audio_stream" || (!version && k == "selected_audio_stream")) {
+                       if (!version) {
+                               audio_stream_index = atoi (v.c_str ());
+                       } else {
+                               _content_audio_stream = audio_stream_factory (v, version);
+                       }
+               } else if (k == "external_audio") {
+                       _external_audio.push_back (v);
+               } else if (k == "use_content_audio") {
+                       _use_content_audio = (v == "1");
                } else if (k == "audio_gain") {
                        _audio_gain = atof (v.c_str ());
                } else if (k == "audio_delay") {
@@ -531,13 +524,21 @@ Film::read_metadata ()
                } else if (k == "still_duration") {
                        _still_duration = atoi (v.c_str ());
                } else if (k == "selected_subtitle_stream") {
-                       _subtitle_stream = atoi (v.c_str ());
+                       if (!version) {
+                               subtitle_stream_index = atoi (v.c_str ());
+                       } else {
+                               _subtitle_stream = subtitle_stream_factory (v, version);
+                       }
                } else if (k == "with_subtitles") {
                        _with_subtitles = (v == "1");
                } else if (k == "subtitle_offset") {
                        _subtitle_offset = atoi (v.c_str ());
                } else if (k == "subtitle_scale") {
                        _subtitle_scale = atof (v.c_str ());
+               } else if (k == "colour_lut") {
+                       _colour_lut = atoi (v.c_str ());
+               } else if (k == "j2k_bandwidth") {
+                       _j2k_bandwidth = atoi (v.c_str ());
                } else if (k == "audio_language") {
                        _audio_language = v;
                } else if (k == "subtitle_language") {
@@ -555,13 +556,7 @@ Film::read_metadata ()
                }
                
                /* Cached stuff */
-               if (k == "thumb") {
-                       int const n = atoi (v.c_str ());
-                       /* Only add it to the list if it still exists */
-                       if (boost::filesystem::exists (thumb_file_for_frame (n))) {
-                               _thumbs.push_back (n);
-                       }
-               } else if (k == "width") {
+               if (k == "width") {
                        _size.width = atoi (v.c_str ());
                } else if (k == "height") {
                        _size.height = atoi (v.c_str ());
@@ -570,79 +565,48 @@ Film::read_metadata ()
                        if (vv) {
                                _length = vv;
                        }
-               } else if (k == "audio_sample_rate") {
-                       _audio_sample_rate = atoi (v.c_str ());
+               } else if (k == "dcp_intrinsic_duration") {
+                       int const vv = atoi (v.c_str ());
+                       if (vv) {
+                               _dcp_intrinsic_duration = vv;
+                       }
                } else if (k == "content_digest") {
                        _content_digest = v;
-               } else if (k == "has_subtitles") {
-                       _has_subtitles = (v == "1");
-               } else if (k == "audio_stream") {
-                       _audio_streams.push_back (AudioStream (v));
+               } else if (k == "content_audio_stream" || (!version && k == "audio_stream")) {
+                       _content_audio_streams.push_back (audio_stream_factory (v, version));
+               } else if (k == "external_audio_stream") {
+                       _external_audio_stream = audio_stream_factory (v, version);
                } else if (k == "subtitle_stream") {
-                       _subtitle_streams.push_back (SubtitleStream (v));
+                       _subtitle_streams.push_back (subtitle_stream_factory (v, version));
                } else if (k == "frames_per_second") {
                        _frames_per_second = atof (v.c_str ());
                }
        }
-               
-       _dirty = false;
-}
-
-/** @param n A thumb index.
- *  @return The path to the thumb's image file.
- */
-string
-Film::thumb_file (int n) const
-{
-       return thumb_file_for_frame (thumb_frame (n));
-}
 
-/** @param n A frame index within the Film.
- *  @return The path to the thumb's image file for this frame;
- *  we assume that it exists.
- */
-string
-Film::thumb_file_for_frame (int n) const
-{
-       return thumb_base_for_frame(n) + ".png";
-}
+       if (!version) {
+               if (audio_sample_rate) {
+                       /* version < 1 didn't specify sample rate in the audio streams, so fill it in here */
+                       for (vector<shared_ptr<AudioStream> >::iterator i = _content_audio_streams.begin(); i != _content_audio_streams.end(); ++i) {
+                               (*i)->set_sample_rate (audio_sample_rate.get());
+                       }
+               }
 
-/** Must not be called with the _state_mutex locked */
-string
-Film::thumb_base (int n) const
-{
-       return thumb_base_for_frame (thumb_frame (n));
-}
+               /* also the selected stream was specified as an index */
+               if (audio_stream_index && audio_stream_index.get() >= 0 && audio_stream_index.get() < (int) _content_audio_streams.size()) {
+                       _content_audio_stream = _content_audio_streams[audio_stream_index.get()];
+               }
 
-string
-Film::thumb_base_for_frame (int n) const
-{
-       stringstream s;
-       s.width (8);
-       s << setfill('0') << n;
-       
-       boost::filesystem::path p;
-       p /= dir ("thumbs");
-       p /= s.str ();
+               /* similarly the subtitle */
+               if (subtitle_stream_index && subtitle_stream_index.get() >= 0 && subtitle_stream_index.get() < (int) _subtitle_streams.size()) {
+                       _subtitle_stream = _subtitle_streams[subtitle_stream_index.get()];
+               }
+       }
                
-       return p.string ();
-}
-
-/** @param n A thumb index.
- *  @return The frame within the Film that it is for.
- *
- *  Must not be called with the _state_mutex locked.
- */
-int
-Film::thumb_frame (int n) const
-{
-       boost::mutex::scoped_lock lm (_state_mutex);
-       assert (n < int (_thumbs.size ()));
-       return _thumbs[n];
+       _dirty = false;
 }
 
-Size
-Film::cropped_size (Size s) const
+libdcp::Size
+Film::cropped_size (libdcp::Size s) const
 {
        boost::mutex::scoped_lock lm (_state_mutex);
        s.width -= _crop.left + _crop.right;
@@ -694,15 +658,12 @@ Film::content_path () const
 ContentType
 Film::content_type () const
 {
-#if BOOST_FILESYSTEM_VERSION == 3
-       string ext = boost::filesystem::path(_content).extension().string();
-#else
-       string ext = boost::filesystem::path(_content).extension();
-#endif
+       if (boost::filesystem::is_directory (_content)) {
+               /* Directory of images, we assume */
+               return VIDEO;
+       }
 
-       transform (ext.begin(), ext.end(), ext.begin(), ::tolower);
-       
-       if (ext == ".tif" || ext == ".tiff" || ext == ".jpg" || ext == ".jpeg" || ext == ".png") {
+       if (still_image_file (_content)) {
                return STILL;
        }
 
@@ -713,42 +674,41 @@ Film::content_type () const
 int
 Film::target_audio_sample_rate () const
 {
+       if (!audio_stream()) {
+               return 0;
+       }
+       
        /* Resample to a DCI-approved sample rate */
-       double t = dcp_audio_sample_rate (audio_sample_rate());
+       double t = dcp_audio_sample_rate (audio_stream()->sample_rate());
 
-       /* Compensate for the fact that video will be rounded to the
-          nearest integer number of frames per second.
+       DCPFrameRate dfr (frames_per_second ());
+
+       /* Compensate if the DCP is being run at a different frame rate
+          to the source; that is, if the video is run such that it will
+          look different in the DCP compared to the source (slower or faster).
+          skip/repeat doesn't come into effect here.
        */
-       if (rint (frames_per_second()) != frames_per_second()) {
-               t *= _frames_per_second / rint (frames_per_second());
+
+       if (dfr.change_speed) {
+               t *= _frames_per_second * dfr.factor() / dfr.frames_per_second;
        }
 
        return rint (t);
 }
 
-boost::optional<int>
-Film::dcp_length () const
+int
+Film::still_duration_in_frames () const
 {
-       if (!length()) {
-               return boost::optional<int> ();
-       }
-
-       if (dcp_frames()) {
-               return min (dcp_frames().get(), length().get());
-       }
-
-       return length();
+       return still_duration() * frames_per_second();
 }
 
 /** @return a DCI-compliant name for a DCP of this film */
 string
 Film::dci_name () const
 {
-       boost::mutex::scoped_lock lm (_state_mutex);
-       
        stringstream d;
 
-       string fixed_name = to_upper_copy (_name);
+       string fixed_name = to_upper_copy (name());
        for (size_t i = 0; i < fixed_name.length(); ++i) {
                if (fixed_name[i] == ' ') {
                        fixed_name[i] = '-';
@@ -762,18 +722,18 @@ Film::dci_name () const
 
        d << fixed_name << "_";
 
-       if (_dcp_content_type) {
-               d << _dcp_content_type->dci_name() << "_";
+       if (dcp_content_type()) {
+               d << dcp_content_type()->dci_name() << "_";
        }
 
-       if (_format) {
-               d << _format->dci_name() << "_";
+       if (format()) {
+               d << format()->dci_name() << "_";
        }
 
-       if (!_audio_language.empty ()) {
-               d << _audio_language;
-               if (!_subtitle_language.empty() && _with_subtitles) {
-                       d << "-" << _subtitle_language;
+       if (!audio_language().empty ()) {
+               d << audio_language();
+               if (!subtitle_language().empty() && with_subtitles()) {
+                       d << "-" << subtitle_language();
                } else {
                        d << "-XX";
                }
@@ -781,15 +741,15 @@ Film::dci_name () const
                d << "_";
        }
 
-       if (!_territory.empty ()) {
-               d << _territory;
-               if (!_rating.empty ()) {
-                       d << "-" << _rating;
+       if (!territory().empty ()) {
+               d << territory();
+               if (!rating().empty ()) {
+                       d << "-" << rating();
                }
                d << "_";
        }
 
-       switch (_audio_streams[_audio_stream].channels()) {
+       switch (audio_channels()) {
        case 1:
                d << "10_";
                break;
@@ -806,18 +766,18 @@ Film::dci_name () const
 
        d << "2K_";
 
-       if (!_studio.empty ()) {
-               d << _studio << "_";
+       if (!studio().empty ()) {
+               d << studio() << "_";
        }
 
        d << boost::gregorian::to_iso_string (_dci_date) << "_";
 
-       if (!_facility.empty ()) {
-               d << _facility << "_";
+       if (!facility().empty ()) {
+               d << facility() << "_";
        }
 
-       if (!_package_type.empty ()) {
-               d << _package_type;
+       if (!package_type().empty ()) {
+               d << package_type();
        }
 
        return d.str ();
@@ -899,24 +859,35 @@ Film::set_content (string c)
                _content = c;
        }
 
+       /* Reset streams here in case the new content doesn't have one or the other */
+       _content_audio_stream = shared_ptr<AudioStream> ();
+       _subtitle_stream = shared_ptr<SubtitleStream> ();
+
+       /* Start off using content audio */
+       set_use_content_audio (true);
+
        /* Create a temporary decoder so that we can get information
           about the content.
        */
 
        try {
-               shared_ptr<Options> o (new Options ("", "", ""));
-               o->out_size = Size (1024, 1024);
+               Decoders d = decoder_factory (shared_from_this(), DecodeOptions(), 0);
                
-               shared_ptr<Decoder> d = decoder_factory (shared_from_this(), o, 0, 0);
+               set_size (d.video->native_size ());
+               set_frames_per_second (d.video->frames_per_second ());
+               set_subtitle_streams (d.video->subtitle_streams ());
+               if (d.audio) {
+                       set_content_audio_streams (d.audio->audio_streams ());
+               }
+
+               /* Start off with the first audio and subtitle streams */
+               if (d.audio && !d.audio->audio_streams().empty()) {
+                       set_content_audio_stream (d.audio->audio_streams().front());
+               }
                
-               set_size (d->native_size ());
-               set_frames_per_second (d->frames_per_second ());
-               set_audio_sample_rate (d->audio_sample_rate ());
-               set_has_subtitles (d->has_subtitles ());
-               set_audio_streams (d->audio_streams ());
-               set_subtitle_streams (d->subtitle_streams ());
-               set_audio_stream (audio_streams().empty() ? -1 : 0);
-               set_subtitle_stream (subtitle_streams().empty() ? -1 : 0);
+               if (!d.video->subtitle_streams().empty()) {
+                       set_subtitle_stream (d.video->subtitle_streams().front());
+               }
                
                {
                        boost::mutex::scoped_lock lm (_state_mutex);
@@ -925,8 +896,6 @@ Film::set_content (string c)
                
                signal_changed (CONTENT);
                
-               set_content_digest (md5_digest (content_path ()));
-               
                examine_content ();
 
        } catch (...) {
@@ -936,6 +905,37 @@ Film::set_content (string c)
                throw;
 
        }
+
+       /* Default format */
+       switch (content_type()) {
+       case STILL:
+               set_format (Format::from_id ("var-185"));
+               break;
+       case VIDEO:
+               set_format (Format::from_id ("185"));
+               break;
+       }
+
+       /* Still image DCPs must use external audio */
+       if (content_type() == STILL) {
+               set_use_content_audio (false);
+       }
+}
+
+void
+Film::set_trust_content_header (bool t)
+{
+       {
+               boost::mutex::scoped_lock lm (_state_mutex);
+               _trust_content_header = t;
+       }
+       
+       signal_changed (TRUST_CONTENT_HEADER);
+
+       if (!_trust_content_header && !content().empty()) {
+               /* We just said that we don't trust the content's header */
+               examine_content ();
+       }
 }
               
 void
@@ -1046,53 +1046,70 @@ Film::set_scaler (Scaler const * s)
 }
 
 void
-Film::set_dcp_frames (int f)
+Film::set_trim_start (int t)
 {
        {
                boost::mutex::scoped_lock lm (_state_mutex);
-               _dcp_frames = f;
+               _trim_start = t;
        }
-       signal_changed (DCP_FRAMES);
+       signal_changed (TRIM_START);
 }
 
 void
-Film::unset_dcp_frames ()
+Film::set_trim_end (int t)
 {
        {
                boost::mutex::scoped_lock lm (_state_mutex);
-               _dcp_frames = boost::none;
+               _trim_end = t;
        }
-       signal_changed (DCP_FRAMES);
+       signal_changed (TRIM_END);
 }
 
 void
-Film::set_dcp_trim_action (TrimAction a)
+Film::set_dcp_ab (bool a)
 {
        {
                boost::mutex::scoped_lock lm (_state_mutex);
-               _dcp_trim_action = a;
+               _dcp_ab = a;
        }
-       signal_changed (DCP_TRIM_ACTION);
+       signal_changed (DCP_AB);
 }
 
 void
-Film::set_dcp_ab (bool a)
+Film::set_content_audio_stream (shared_ptr<AudioStream> s)
 {
        {
                boost::mutex::scoped_lock lm (_state_mutex);
-               _dcp_ab = a;
+               _content_audio_stream = s;
        }
-       signal_changed (DCP_AB);
+       signal_changed (CONTENT_AUDIO_STREAM);
 }
 
 void
-Film::set_audio_stream (int s)
+Film::set_external_audio (vector<string> a)
 {
        {
                boost::mutex::scoped_lock lm (_state_mutex);
-               _audio_stream = s;
+               _external_audio = a;
+       }
+
+       shared_ptr<ExternalAudioDecoder> decoder (new ExternalAudioDecoder (shared_from_this(), DecodeOptions(), 0));
+       if (decoder->audio_stream()) {
+               _external_audio_stream = decoder->audio_stream ();
        }
-       signal_changed (AUDIO_STREAM);
+       
+       signal_changed (EXTERNAL_AUDIO);
+}
+
+void
+Film::set_use_content_audio (bool e)
+{
+       {
+               boost::mutex::scoped_lock lm (_state_mutex);
+               _use_content_audio = e;
+       }
+
+       signal_changed (USE_CONTENT_AUDIO);
 }
 
 void
@@ -1126,7 +1143,7 @@ Film::set_still_duration (int d)
 }
 
 void
-Film::set_subtitle_stream (int s)
+Film::set_subtitle_stream (shared_ptr<SubtitleStream> s)
 {
        {
                boost::mutex::scoped_lock lm (_state_mutex);
@@ -1165,6 +1182,26 @@ Film::set_subtitle_scale (float s)
        signal_changed (SUBTITLE_SCALE);
 }
 
+void
+Film::set_colour_lut (int i)
+{
+       {
+               boost::mutex::scoped_lock lm (_state_mutex);
+               _colour_lut = i;
+       }
+       signal_changed (COLOUR_LUT);
+}
+
+void
+Film::set_j2k_bandwidth (int b)
+{
+       {
+               boost::mutex::scoped_lock lm (_state_mutex);
+               _j2k_bandwidth = b;
+       }
+       signal_changed (J2K_BANDWIDTH);
+}
+
 void
 Film::set_audio_language (string l)
 {
@@ -1236,17 +1273,7 @@ Film::set_package_type (string p)
 }
 
 void
-Film::set_thumbs (vector<int> t)
-{
-       {
-               boost::mutex::scoped_lock lm (_state_mutex);
-               _thumbs = t;
-       }
-       signal_changed (THUMBS);
-}
-
-void
-Film::set_size (Size s)
+Film::set_size (libdcp::Size s)
 {
        {
                boost::mutex::scoped_lock lm (_state_mutex);
@@ -1256,7 +1283,7 @@ Film::set_size (Size s)
 }
 
 void
-Film::set_length (int l)
+Film::set_length (SourceFrame l)
 {
        {
                boost::mutex::scoped_lock lm (_state_mutex);
@@ -1273,16 +1300,16 @@ Film::unset_length ()
                _length = boost::none;
        }
        signal_changed (LENGTH);
-}      
+}
 
 void
-Film::set_audio_sample_rate (int r)
+Film::set_dcp_intrinsic_duration (int d)
 {
        {
                boost::mutex::scoped_lock lm (_state_mutex);
-               _audio_sample_rate = r;
+               _dcp_intrinsic_duration = d;
        }
-       signal_changed (AUDIO_SAMPLE_RATE);
+       signal_changed (DCP_INTRINSIC_DURATION);
 }
 
 void
@@ -1296,33 +1323,23 @@ Film::set_content_digest (string d)
 }
 
 void
-Film::set_has_subtitles (bool s)
-{
-       {
-               boost::mutex::scoped_lock lm (_state_mutex);
-               _has_subtitles = s;
-       }
-       signal_changed (HAS_SUBTITLES);
-}
-
-void
-Film::set_audio_streams (vector<AudioStream> s)
+Film::set_content_audio_streams (vector<shared_ptr<AudioStream> > s)
 {
        {
                boost::mutex::scoped_lock lm (_state_mutex);
-               _audio_streams = s;
+               _content_audio_streams = s;
        }
-       _dirty = true;
+       signal_changed (CONTENT_AUDIO_STREAMS);
 }
 
 void
-Film::set_subtitle_streams (vector<SubtitleStream> s)
+Film::set_subtitle_streams (vector<shared_ptr<SubtitleStream> > s)
 {
        {
                boost::mutex::scoped_lock lm (_state_mutex);
                _subtitle_streams = s;
        }
-       _dirty = true;
+       signal_changed (SUBTITLE_STREAMS);
 }
 
 void
@@ -1351,12 +1368,12 @@ Film::signal_changed (Property p)
 int
 Film::audio_channels () const
 {
-       boost::mutex::scoped_lock lm (_state_mutex);
-       if (_audio_stream == -1) {
+       shared_ptr<AudioStream> s = audio_stream ();
+       if (!s) {
                return 0;
        }
-       
-       return _audio_streams[_audio_stream].channels ();
+
+       return s->channels ();
 }
 
 void
@@ -1364,3 +1381,48 @@ Film::set_dci_date_today ()
 {
        _dci_date = boost::gregorian::day_clock::local_day ();
 }
+
+boost::shared_ptr<AudioStream>
+Film::audio_stream () const
+{
+       if (use_content_audio()) {
+               return _content_audio_stream;
+       }
+
+       return _external_audio_stream;
+}
+
+string
+Film::hash_path (int f) const
+{
+       boost::filesystem::path p;
+       p /= hash_dir ();
+
+       stringstream s;
+       s.width (8);
+       s << setfill('0') << f << ".md5";
+
+       p /= s.str();
+       return p.string ();
+}
+
+string
+Film::j2c_path (int f, bool t) const
+{
+       boost::filesystem::path p;
+       p /= "j2c";
+       p /= video_state_identifier ();
+
+       stringstream s;
+       s.width (8);
+       s << setfill('0') << f << ".j2c";
+
+       if (t) {
+               s << ".tmp";
+       }
+
+       p /= s.str();
+       return p.string ();
+}
+
+