Merge master into direct-mxf.
[dcpomatic.git] / src / lib / film.cc
index 2330e3c7304ed54728a3b9848cb3e3fc403a57f2..bdc4cca734d7075fc58bfaa52b46c2046f368bdd 100644 (file)
@@ -31,7 +31,6 @@
 #include <boost/date_time.hpp>
 #include "film.h"
 #include "format.h"
-#include "imagemagick_encoder.h"
 #include "job.h"
 #include "filter.h"
 #include "transcoder.h"
@@ -40,8 +39,6 @@
 #include "ab_transcode_job.h"
 #include "transcode_job.h"
 #include "scp_dcp_job.h"
-#include "copy_from_dvd_job.h"
-#include "make_dcp_job.h"
 #include "log.h"
 #include "options.h"
 #include "exceptions.h"
 #include "scaler.h"
 #include "decoder_factory.h"
 #include "config.h"
-#include "check_hashes_job.h"
 #include "version.h"
 #include "ui_signaller.h"
 #include "video_decoder.h"
 #include "audio_decoder.h"
+#include "external_audio_decoder.h"
 
 using std::string;
 using std::stringstream;
@@ -66,14 +63,16 @@ using std::ofstream;
 using std::setfill;
 using std::min;
 using std::make_pair;
+using std::cout;
 using boost::shared_ptr;
 using boost::lexical_cast;
 using boost::to_upper_copy;
 using boost::ends_with;
 using boost::starts_with;
 using boost::optional;
+using libdcp::Size;
 
-int const Film::state_version = 1;
+int const Film::state_version = 2;
 
 /** Construct a Film object in a given directory, reading any metadata
  *  file that exists in that directory.  An exception will be thrown if
@@ -85,11 +84,12 @@ int const Film::state_version = 1;
 
 Film::Film (string d, bool must_exist)
        : _use_dci_name (true)
+       , _trust_content_header (true)
        , _dcp_content_type (0)
        , _format (0)
        , _scaler (Scaler::from_id ("bicubic"))
-       , _dcp_trim_start (0)
-       , _dcp_trim_end (0)
+       , _trim_start (0)
+       , _trim_end (0)
        , _dcp_ab (false)
        , _use_content_audio (true)
        , _audio_gain (0)
@@ -98,6 +98,9 @@ Film::Film (string d, bool must_exist)
        , _with_subtitles (false)
        , _subtitle_offset (0)
        , _subtitle_scale (1)
+       , _colour_lut (0)
+       , _j2k_bandwidth (200000000)
+       , _dci_metadata (Config::instance()->default_dci_metadata ())
        , _frames_per_second (0)
        , _dirty (false)
 {
@@ -129,29 +132,35 @@ Film::Film (string d, bool must_exist)
                }
        }
 
-       read_metadata ();
+       _external_audio_stream = ExternalAudioStream::create ();
+       
+       if (must_exist) {
+               read_metadata ();
+       }
 
        _log = new FileLog (file ("log"));
        set_dci_date_today ();
 }
 
 Film::Film (Film const & o)
-       : _log (0)
+       : boost::enable_shared_from_this<Film> (o)
+       , _log (0)
        , _directory         (o._directory)
        , _name              (o._name)
        , _use_dci_name      (o._use_dci_name)
        , _content           (o._content)
+       , _trust_content_header (o._trust_content_header)
        , _dcp_content_type  (o._dcp_content_type)
        , _format            (o._format)
        , _crop              (o._crop)
        , _filters           (o._filters)
        , _scaler            (o._scaler)
-       , _dcp_trim_start    (o._dcp_trim_start)
-       , _dcp_trim_end      (o._dcp_trim_end)
+       , _trim_start        (o._trim_start)
+       , _trim_end          (o._trim_end)
        , _dcp_ab            (o._dcp_ab)
-       , _use_content_audio (o._use_content_audio)
-       , _audio_stream      (o._audio_stream)
+       , _content_audio_stream (o._content_audio_stream)
        , _external_audio    (o._external_audio)
+       , _use_content_audio (o._use_content_audio)
        , _audio_gain        (o._audio_gain)
        , _audio_delay       (o._audio_delay)
        , _still_duration    (o._still_duration)
@@ -159,18 +168,15 @@ Film::Film (Film const & o)
        , _with_subtitles    (o._with_subtitles)
        , _subtitle_offset   (o._subtitle_offset)
        , _subtitle_scale    (o._subtitle_scale)
-       , _audio_language    (o._audio_language)
-       , _subtitle_language (o._subtitle_language)
-       , _territory         (o._territory)
-       , _rating            (o._rating)
-       , _studio            (o._studio)
-       , _facility          (o._facility)
-       , _package_type      (o._package_type)
-       , _thumbs            (o._thumbs)
+       , _colour_lut        (o._colour_lut)
+       , _j2k_bandwidth     (o._j2k_bandwidth)
+       , _dci_metadata      (o._dci_metadata)
        , _size              (o._size)
        , _length            (o._length)
+       , _dcp_intrinsic_duration (o._dcp_intrinsic_duration)
        , _content_digest    (o._content_digest)
-       , _audio_streams     (o._audio_streams)
+       , _content_audio_streams (o._content_audio_streams)
+       , _external_audio_stream (o._external_audio_stream)
        , _subtitle_streams  (o._subtitle_streams)
        , _frames_per_second (o._frames_per_second)
        , _dirty             (o._dirty)
@@ -182,44 +188,54 @@ Film::~Film ()
 {
        delete _log;
 }
-         
-/** @return The path to the directory to write JPEG2000 files to */
+
 string
-Film::j2k_dir () const
+Film::video_state_identifier () const
 {
-       assert (format());
-
-       boost::filesystem::path p;
-
-       /* Start with j2c */
-       p /= "j2c";
+       assert (format ());
 
        pair<string, string> f = Filter::ffmpeg_strings (filters());
 
-       /* Write stuff to specify the filter / post-processing settings that are in use,
-          so that we don't get confused about J2K files generated using different
-          settings.
-       */
        stringstream s;
        s << format()->id()
          << "_" << content_digest()
          << "_" << crop().left << "_" << crop().right << "_" << crop().top << "_" << crop().bottom
          << "_" << f.first << "_" << f.second
-         << "_" << scaler()->id();
-
-       p /= s.str ();
+         << "_" << scaler()->id()
+         << "_" << j2k_bandwidth()
+         << "_" << boost::lexical_cast<int> (colour_lut());
 
-       /* Similarly for the A/B case */
        if (dcp_ab()) {
-               stringstream s;
                pair<string, string> fa = Filter::ffmpeg_strings (Config::instance()->reference_filters());
                s << "ab_" << Config::instance()->reference_scaler()->id() << "_" << fa.first << "_" << fa.second;
-               p /= s.str ();
        }
-       
+
+       return s.str ();
+}
+         
+/** @return The path to the directory to write video frame hash files to */
+string
+Film::hash_dir () const
+{
+       boost::filesystem::path p;
+       p /= "hash";
+       p /= video_state_identifier ();
        return dir (p.string());
 }
 
+string
+Film::video_mxf_dir () const
+{
+       boost::filesystem::path p;
+       return dir ("video");
+}
+
+string
+Film::video_mxf_filename () const
+{
+       return video_state_identifier() + ".mxf";
+}
+
 /** Add suitable Jobs to the JobManager to create a DCP for this Film.
  *  @param true to transcode, false to use the WAV and J2K files that are already there.
  */
@@ -239,7 +255,27 @@ Film::make_dcp (bool transcode)
                gethostname (buffer, sizeof (buffer));
                log()->log (String::compose ("Starting to make DCP on %1", buffer));
        }
-               
+       
+       log()->log (String::compose ("Content is %1; type %2", content_path(), (content_type() == STILL ? "still" : "video")));
+       if (length()) {
+               log()->log (String::compose ("Content length %1", length().get()));
+       }
+       log()->log (String::compose ("Content digest %1", content_digest()));
+       log()->log (String::compose ("%1 threads", Config::instance()->num_local_encoding_threads()));
+       log()->log (String::compose ("J2K bandwidth %1", j2k_bandwidth()));
+#ifdef DVDOMATIC_DEBUG
+       log()->log ("DVD-o-matic built in debug mode.");
+#else
+       log()->log ("DVD-o-matic built in optimised mode.");
+#endif
+#ifdef LIBDCP_DEBUG
+       log()->log ("libdcp built in debug mode.");
+#else
+       log()->log ("libdcp built in optimised mode.");
+#endif
+       pair<string, int> const c = cpu_info ();
+       log()->log (String::compose ("CPU: %1, %2 processors", c.first, c.second));
+       
        if (format() == 0) {
                throw MissingSettingError ("format");
        }
@@ -256,35 +292,18 @@ Film::make_dcp (bool transcode)
                throw MissingSettingError ("name");
        }
 
-       shared_ptr<Options> o (new Options (j2k_dir(), ".j2c", dir ("wavs")));
-       o->out_size = format()->dcp_size ();
-       o->padding = format()->dcp_padding (shared_from_this ());
-       o->ratio = format()->ratio_as_float (shared_from_this ());
-       if (dcp_length ()) {
-               o->video_decode_range = make_pair (dcp_trim_start(), dcp_trim_start() + dcp_length().get());
-               if (audio_stream()) {
-                       o->audio_decode_range = make_pair (
-                               video_frames_to_audio_frames (o->video_decode_range.get().first, audio_stream().get().sample_rate(), frames_per_second()),
-                               video_frames_to_audio_frames (o->video_decode_range.get().second, audio_stream().get().sample_rate(), frames_per_second())
-                               );
-               }
-                       
-       }
-       o->decode_subtitles = with_subtitles ();
-       o->decode_video_skip = dcp_frame_rate (frames_per_second()).skip;
+       DecodeOptions od;
+       od.decode_subtitles = with_subtitles ();
 
        shared_ptr<Job> r;
 
        if (transcode) {
                if (dcp_ab()) {
-                       r = JobManager::instance()->add (shared_ptr<Job> (new ABTranscodeJob (shared_from_this(), o, shared_ptr<Job> ())));
+                       r = JobManager::instance()->add (shared_ptr<Job> (new ABTranscodeJob (shared_from_this(), od, shared_ptr<Job> ())));
                } else {
-                       r = JobManager::instance()->add (shared_ptr<Job> (new TranscodeJob (shared_from_this(), o, shared_ptr<Job> ())));
+                       r = JobManager::instance()->add (shared_ptr<Job> (new TranscodeJob (shared_from_this(), od, shared_ptr<Job> ())));
                }
        }
-
-       r = JobManager::instance()->add (shared_ptr<Job> (new CheckHashesJob (shared_from_this(), o, r)));
-       JobManager::instance()->add (shared_ptr<Job> (new MakeDCPJob (shared_from_this(), o, r)));
 }
 
 /** Start a job to examine our content file */
@@ -295,12 +314,6 @@ Film::examine_content ()
                return;
        }
 
-       set_thumbs (vector<SourceFrame> ());
-       boost::filesystem::remove_all (dir ("thumbs"));
-
-       /* This call will recreate the directory */
-       dir ("thumbs");
-       
        _examine_content_job.reset (new ExamineContentJob (shared_from_this(), shared_ptr<Job> ()));
        _examine_content_job->Finished.connect (bind (&Film::examine_content_finished, this));
        JobManager::instance()->add (_examine_content_job);
@@ -312,18 +325,6 @@ Film::examine_content_finished ()
        _examine_content_job.reset ();
 }
 
-/** @return full paths to any audio files that this Film has */
-vector<string>
-Film::audio_files () const
-{
-       vector<string> f;
-       for (boost::filesystem::directory_iterator i = boost::filesystem::directory_iterator (dir("wavs")); i != boost::filesystem::directory_iterator(); ++i) {
-               f.push_back (i->path().string ());
-       }
-
-       return f;
-}
-
 /** Start a job to send our DCP to the configured TMS */
 void
 Film::send_dcp_to_tms ()
@@ -332,13 +333,6 @@ Film::send_dcp_to_tms ()
        JobManager::instance()->add (j);
 }
 
-void
-Film::copy_from_dvd ()
-{
-       shared_ptr<Job> j (new CopyFromDVDJob (shared_from_this(), shared_ptr<Job> ()));
-       JobManager::instance()->add (j);
-}
-
 /** Count the number of frames that have been encoded for this film.
  *  @return frame count.
  */
@@ -350,7 +344,7 @@ Film::encoded_frames () const
        }
 
        int N = 0;
-       for (boost::filesystem::directory_iterator i = boost::filesystem::directory_iterator (j2k_dir ()); i != boost::filesystem::directory_iterator(); ++i) {
+       for (boost::filesystem::directory_iterator i = boost::filesystem::directory_iterator (hash_dir ()); i != boost::filesystem::directory_iterator(); ++i) {
                ++N;
                boost::this_thread::interruption_point ();
        }
@@ -358,35 +352,6 @@ Film::encoded_frames () const
        return N;
 }
 
-/** Return the filename of a subtitle image if one exists for a given thumb index.
- *  @param Thumbnail index.
- *  @return Position of the image within the source frame, and the image filename, if one exists.
- *  Otherwise the filename will be empty.
- */
-pair<Position, string>
-Film::thumb_subtitle (int n) const
-{
-       string sub_file = thumb_base(n) + ".sub";
-       if (!boost::filesystem::exists (sub_file)) {
-               return pair<Position, string> ();
-       }
-
-       pair<Position, string> sub;
-       
-       ifstream f (sub_file.c_str ());
-       multimap<string, string> kv = read_key_value (f);
-       for (map<string, string>::const_iterator i = kv.begin(); i != kv.end(); ++i) {
-               if (i->first == "x") {
-                       sub.first.x = lexical_cast<int> (i->second);
-               } else if (i->first == "y") {
-                       sub.first.y = lexical_cast<int> (i->second);
-                       sub.second = String::compose ("%1.sub.png", thumb_base(n));
-               }
-       }
-       
-       return sub;
-}
-
 /** Write state to our `metadata' file */
 void
 Film::write_metadata () const
@@ -407,6 +372,7 @@ Film::write_metadata () const
        f << "name " << _name << "\n";
        f << "use_dci_name " << _use_dci_name << "\n";
        f << "content " << _content << "\n";
+       f << "trust_content_header " << (_trust_content_header ? "1" : "0") << "\n";
        if (_dcp_content_type) {
                f << "dcp_content_type " << _dcp_content_type->pretty_name () << "\n";
        }
@@ -421,50 +387,42 @@ Film::write_metadata () const
                f << "filter " << (*i)->id () << "\n";
        }
        f << "scaler " << _scaler->id () << "\n";
-       f << "dcp_trim_start " << _dcp_trim_start << "\n";
-       f << "dcp_trim_end " << _dcp_trim_end << "\n";
+       f << "trim_start " << _trim_start << "\n";
+       f << "trim_end " << _trim_end << "\n";
        f << "dcp_ab " << (_dcp_ab ? "1" : "0") << "\n";
-       f << "use_content_audio " << (_use_content_audio ? "1" : "0") << "\n";
-       if (_audio_stream) {
-               f << "selected_audio_stream " << _audio_stream.get().to_string() << "\n";
+       if (_content_audio_stream) {
+               f << "selected_content_audio_stream " << _content_audio_stream->to_string() << "\n";
        }
        for (vector<string>::const_iterator i = _external_audio.begin(); i != _external_audio.end(); ++i) {
                f << "external_audio " << *i << "\n";
        }
+       f << "use_content_audio " << (_use_content_audio ? "1" : "0") << "\n";
        f << "audio_gain " << _audio_gain << "\n";
        f << "audio_delay " << _audio_delay << "\n";
        f << "still_duration " << _still_duration << "\n";
        if (_subtitle_stream) {
-               f << "selected_subtitle_stream " << _subtitle_stream.get().to_string() << "\n";
+               f << "selected_subtitle_stream " << _subtitle_stream->to_string() << "\n";
        }
        f << "with_subtitles " << _with_subtitles << "\n";
        f << "subtitle_offset " << _subtitle_offset << "\n";
        f << "subtitle_scale " << _subtitle_scale << "\n";
-       f << "audio_language " << _audio_language << "\n";
-       f << "subtitle_language " << _subtitle_language << "\n";
-       f << "territory " << _territory << "\n";
-       f << "rating " << _rating << "\n";
-       f << "studio " << _studio << "\n";
-       f << "facility " << _facility << "\n";
-       f << "package_type " << _package_type << "\n";
-
-       /* Cached stuff; this is information about our content; we could
-          look it up each time, but that's slow.
-       */
-       for (vector<SourceFrame>::const_iterator i = _thumbs.begin(); i != _thumbs.end(); ++i) {
-               f << "thumb " << *i << "\n";
-       }
+       f << "colour_lut " << _colour_lut << "\n";
+       f << "j2k_bandwidth " << _j2k_bandwidth << "\n";
+       _dci_metadata.write (f);
        f << "width " << _size.width << "\n";
        f << "height " << _size.height << "\n";
        f << "length " << _length.get_value_or(0) << "\n";
+       f << "dcp_intrinsic_duration " << _dcp_intrinsic_duration.get_value_or(0) << "\n";
        f << "content_digest " << _content_digest << "\n";
 
-       for (vector<AudioStream>::const_iterator i = _audio_streams.begin(); i != _audio_streams.end(); ++i) {
-               f << "audio_stream " << i->to_string () << "\n";
+       for (vector<shared_ptr<AudioStream> >::const_iterator i = _content_audio_streams.begin(); i != _content_audio_streams.end(); ++i) {
+               f << "content_audio_stream " << (*i)->to_string () << "\n";
        }
 
-       for (vector<SubtitleStream>::const_iterator i = _subtitle_streams.begin(); i != _subtitle_streams.end(); ++i) {
-               f << "subtitle_stream " << i->to_string () << "\n";
+       f << "external_audio_stream " << _external_audio_stream->to_string() << "\n";
+
+       for (vector<shared_ptr<SubtitleStream> >::const_iterator i = _subtitle_streams.begin(); i != _subtitle_streams.end(); ++i) {
+               f << "subtitle_stream " << (*i)->to_string () << "\n";
        }
 
        f << "frames_per_second " << _frames_per_second << "\n";
@@ -479,8 +437,7 @@ Film::read_metadata ()
        boost::mutex::scoped_lock lm (_state_mutex);
 
        _external_audio.clear ();
-       _thumbs.clear ();
-       _audio_streams.clear ();
+       _content_audio_streams.clear ();
        _subtitle_streams.clear ();
 
        boost::optional<int> version;
@@ -489,16 +446,25 @@ Film::read_metadata ()
        boost::optional<int> audio_sample_rate;
        boost::optional<int> audio_stream_index;
        boost::optional<int> subtitle_stream_index;
-       
+
        ifstream f (file ("metadata").c_str());
+       if (!f.good()) {
+               throw OpenFileError (file("metadata"));
+       }
+       
        multimap<string, string> kv = read_key_value (f);
+
+       /* We need version before anything else */
+       multimap<string, string>::iterator v = kv.find ("version");
+       if (v != kv.end ()) {
+               version = atoi (v->second.c_str());
+       }
+       
        for (multimap<string, string>::const_iterator i = kv.begin(); i != kv.end(); ++i) {
                string const k = i->first;
                string const v = i->second;
 
-               if (k == "version") {
-                       version = atoi (v.c_str());
-               } else if (k == "audio_sample_rate") {
+               if (k == "audio_sample_rate") {
                        audio_sample_rate = atoi (v.c_str());
                }
 
@@ -509,6 +475,8 @@ Film::read_metadata ()
                        _use_dci_name = (v == "1");
                } else if (k == "content") {
                        _content = v;
+               } else if (k == "trust_content_header") {
+                       _trust_content_header = (v == "1");
                } else if (k == "dcp_content_type") {
                        _dcp_content_type = DCPContentType::from_pretty_name (v);
                } else if (k == "format") {
@@ -525,22 +493,22 @@ Film::read_metadata ()
                        _filters.push_back (Filter::from_id (v));
                } else if (k == "scaler") {
                        _scaler = Scaler::from_id (v);
-               } else if (k == "dcp_trim_start") {
-                       _dcp_trim_start = atoi (v.c_str ());
-               } else if (k == "dcp_trim_end") {
-                       _dcp_trim_end = atoi (v.c_str ());
+               } else if ( ((!version || version < 2) && k == "trim_start") || k == "trim_start") {
+                       _trim_start = atoi (v.c_str ());
+               } else if ( ((!version || version < 2) && k == "trim_end") || k == "trim_end") {
+                       _trim_end = atoi (v.c_str ());
                } else if (k == "dcp_ab") {
                        _dcp_ab = (v == "1");
-               } else if (k == "use_content_audio") {
-                       _use_content_audio = (v == "1");
-               } else if (k == "selected_audio_stream") {
+               } else if (k == "selected_content_audio_stream" || (!version && k == "selected_audio_stream")) {
                        if (!version) {
                                audio_stream_index = atoi (v.c_str ());
                        } else {
-                               _audio_stream = AudioStream (v, version);
+                               _content_audio_stream = audio_stream_factory (v, version);
                        }
                } else if (k == "external_audio") {
                        _external_audio.push_back (v);
+               } else if (k == "use_content_audio") {
+                       _use_content_audio = (v == "1");
                } else if (k == "audio_gain") {
                        _audio_gain = atof (v.c_str ());
                } else if (k == "audio_delay") {
@@ -551,7 +519,7 @@ Film::read_metadata ()
                        if (!version) {
                                subtitle_stream_index = atoi (v.c_str ());
                        } else {
-                               _subtitle_stream = SubtitleStream (v);
+                               _subtitle_stream = subtitle_stream_factory (v, version);
                        }
                } else if (k == "with_subtitles") {
                        _with_subtitles = (v == "1");
@@ -559,30 +527,16 @@ Film::read_metadata ()
                        _subtitle_offset = atoi (v.c_str ());
                } else if (k == "subtitle_scale") {
                        _subtitle_scale = atof (v.c_str ());
-               } else if (k == "audio_language") {
-                       _audio_language = v;
-               } else if (k == "subtitle_language") {
-                       _subtitle_language = v;
-               } else if (k == "territory") {
-                       _territory = v;
-               } else if (k == "rating") {
-                       _rating = v;
-               } else if (k == "studio") {
-                       _studio = v;
-               } else if (k == "facility") {
-                       _facility = v;
-               } else if (k == "package_type") {
-                       _package_type = v;
+               } else if (k == "colour_lut") {
+                       _colour_lut = atoi (v.c_str ());
+               } else if (k == "j2k_bandwidth") {
+                       _j2k_bandwidth = atoi (v.c_str ());
                }
+
+               _dci_metadata.read (k, v);
                
                /* Cached stuff */
-               if (k == "thumb") {
-                       int const n = atoi (v.c_str ());
-                       /* Only add it to the list if it still exists */
-                       if (boost::filesystem::exists (thumb_file_for_frame (n))) {
-                               _thumbs.push_back (n);
-                       }
-               } else if (k == "width") {
+               if (k == "width") {
                        _size.width = atoi (v.c_str ());
                } else if (k == "height") {
                        _size.height = atoi (v.c_str ());
@@ -591,12 +545,19 @@ Film::read_metadata ()
                        if (vv) {
                                _length = vv;
                        }
+               } else if (k == "dcp_intrinsic_duration") {
+                       int const vv = atoi (v.c_str ());
+                       if (vv) {
+                               _dcp_intrinsic_duration = vv;
+                       }
                } else if (k == "content_digest") {
                        _content_digest = v;
-               } else if (k == "audio_stream") {
-                       _audio_streams.push_back (AudioStream (v, version));
+               } else if (k == "content_audio_stream" || (!version && k == "audio_stream")) {
+                       _content_audio_streams.push_back (audio_stream_factory (v, version));
+               } else if (k == "external_audio_stream") {
+                       _external_audio_stream = audio_stream_factory (v, version);
                } else if (k == "subtitle_stream") {
-                       _subtitle_streams.push_back (SubtitleStream (v));
+                       _subtitle_streams.push_back (subtitle_stream_factory (v, version));
                } else if (k == "frames_per_second") {
                        _frames_per_second = atof (v.c_str ());
                }
@@ -605,14 +566,14 @@ Film::read_metadata ()
        if (!version) {
                if (audio_sample_rate) {
                        /* version < 1 didn't specify sample rate in the audio streams, so fill it in here */
-                       for (vector<AudioStream>::iterator i = _audio_streams.begin(); i != _audio_streams.end(); ++i) {
-                               i->set_sample_rate (audio_sample_rate.get());
+                       for (vector<shared_ptr<AudioStream> >::iterator i = _content_audio_streams.begin(); i != _content_audio_streams.end(); ++i) {
+                               (*i)->set_sample_rate (audio_sample_rate.get());
                        }
                }
 
                /* also the selected stream was specified as an index */
-               if (audio_stream_index && audio_stream_index.get() >= 0 && audio_stream_index.get() < (int) _audio_streams.size()) {
-                       _audio_stream = _audio_streams[audio_stream_index.get()];
+               if (audio_stream_index && audio_stream_index.get() >= 0 && audio_stream_index.get() < (int) _content_audio_streams.size()) {
+                       _content_audio_stream = _content_audio_streams[audio_stream_index.get()];
                }
 
                /* similarly the subtitle */
@@ -624,63 +585,8 @@ Film::read_metadata ()
        _dirty = false;
 }
 
-/** @param n A thumb index.
- *  @return The path to the thumb's image file.
- */
-string
-Film::thumb_file (int n) const
-{
-       return thumb_file_for_frame (thumb_frame (n));
-}
-
-/** @param n A frame index within the Film's source.
- *  @return The path to the thumb's image file for this frame;
- *  we assume that it exists.
- */
-string
-Film::thumb_file_for_frame (SourceFrame n) const
-{
-       return thumb_base_for_frame(n) + ".png";
-}
-
-/** @param n Thumb index.
- *  Must not be called with the _state_mutex locked.
- */
-string
-Film::thumb_base (int n) const
-{
-       return thumb_base_for_frame (thumb_frame (n));
-}
-
-string
-Film::thumb_base_for_frame (SourceFrame n) const
-{
-       stringstream s;
-       s.width (8);
-       s << setfill('0') << n;
-       
-       boost::filesystem::path p;
-       p /= dir ("thumbs");
-       p /= s.str ();
-               
-       return p.string ();
-}
-
-/** @param n A thumb index.
- *  @return The frame within the Film's source that it is for.
- *
- *  Must not be called with the _state_mutex locked.
- */
-SourceFrame
-Film::thumb_frame (int n) const
-{
-       boost::mutex::scoped_lock lm (_state_mutex);
-       assert (n < int (_thumbs.size ()));
-       return _thumbs[n];
-}
-
-Size
-Film::cropped_size (Size s) const
+libdcp::Size
+Film::cropped_size (libdcp::Size s) const
 {
        boost::mutex::scoped_lock lm (_state_mutex);
        s.width -= _crop.left + _crop.right;
@@ -748,29 +654,32 @@ Film::content_type () const
 int
 Film::target_audio_sample_rate () const
 {
+       if (!audio_stream()) {
+               return 0;
+       }
+       
        /* Resample to a DCI-approved sample rate */
-       double t = dcp_audio_sample_rate (audio_stream().get().sample_rate());
+       double t = dcp_audio_sample_rate (audio_stream()->sample_rate());
 
-       DCPFrameRate dfr = dcp_frame_rate (frames_per_second ());
+       DCPFrameRate dfr (frames_per_second ());
 
-       /* Compensate for the fact that video will be rounded to the
-          nearest integer number of frames per second.
+       /* Compensate if the DCP is being run at a different frame rate
+          to the source; that is, if the video is run such that it will
+          look different in the DCP compared to the source (slower or faster).
+          skip/repeat doesn't come into effect here.
        */
-       if (dfr.run_fast) {
-               t *= _frames_per_second * dfr.skip / dfr.frames_per_second;
+
+       if (dfr.change_speed) {
+               t *= _frames_per_second * dfr.factor() / dfr.frames_per_second;
        }
 
        return rint (t);
 }
 
-boost::optional<SourceFrame>
-Film::dcp_length () const
+int
+Film::still_duration_in_frames () const
 {
-       if (!length()) {
-               return boost::optional<SourceFrame> ();
-       }
-
-       return length().get() - dcp_trim_start() - dcp_trim_end();
+       return still_duration() * frames_per_second();
 }
 
 /** @return a DCI-compliant name for a DCP of this film */
@@ -801,10 +710,12 @@ Film::dci_name () const
                d << format()->dci_name() << "_";
        }
 
-       if (!audio_language().empty ()) {
-               d << audio_language();
-               if (!subtitle_language().empty() && with_subtitles()) {
-                       d << "-" << subtitle_language();
+       DCIMetadata const dm = dci_metadata ();
+
+       if (!dm.audio_language.empty ()) {
+               d << dm.audio_language;
+               if (!dm.subtitle_language.empty() && with_subtitles()) {
+                       d << "-" << dm.subtitle_language;
                } else {
                        d << "-XX";
                }
@@ -812,10 +723,10 @@ Film::dci_name () const
                d << "_";
        }
 
-       if (!territory().empty ()) {
-               d << territory();
-               if (!rating().empty ()) {
-                       d << "-" << rating();
+       if (!dm.territory.empty ()) {
+               d << dm.territory;
+               if (!dm.rating.empty ()) {
+                       d << "-" << dm.rating;
                }
                d << "_";
        }
@@ -837,18 +748,18 @@ Film::dci_name () const
 
        d << "2K_";
 
-       if (!studio().empty ()) {
-               d << studio() << "_";
+       if (!dm.studio.empty ()) {
+               d << dm.studio << "_";
        }
 
        d << boost::gregorian::to_iso_string (_dci_date) << "_";
 
-       if (!facility().empty ()) {
-               d << facility() << "_";
+       if (!dm.facility.empty ()) {
+               d << dm.facility << "_";
        }
 
-       if (!package_type().empty ()) {
-               d << package_type();
+       if (!dm.package_type.empty ()) {
+               d << dm.package_type;
        }
 
        return d.str ();
@@ -930,31 +841,34 @@ Film::set_content (string c)
                _content = c;
        }
 
-       _audio_stream = optional<AudioStream> ();
-       _subtitle_stream = optional<SubtitleStream> ();
+       /* Reset streams here in case the new content doesn't have one or the other */
+       _content_audio_stream = shared_ptr<AudioStream> ();
+       _subtitle_stream = shared_ptr<SubtitleStream> ();
+
+       /* Start off using content audio */
+       set_use_content_audio (true);
 
        /* Create a temporary decoder so that we can get information
           about the content.
        */
 
        try {
-               shared_ptr<Options> o (new Options ("", "", ""));
-               o->out_size = Size (1024, 1024);
+               Decoders d = decoder_factory (shared_from_this(), DecodeOptions(), 0);
                
-               pair<shared_ptr<VideoDecoder>, shared_ptr<AudioDecoder> > d = decoder_factory (shared_from_this(), o, 0);
-               
-               set_size (d.first->native_size ());
-               set_frames_per_second (d.first->frames_per_second ());
-               set_subtitle_streams (d.first->subtitle_streams ());
-               set_audio_streams (d.second->audio_streams ());
+               set_size (d.video->native_size ());
+               set_frames_per_second (d.video->frames_per_second ());
+               set_subtitle_streams (d.video->subtitle_streams ());
+               if (d.audio) {
+                       set_content_audio_streams (d.audio->audio_streams ());
+               }
 
                /* Start off with the first audio and subtitle streams */
-               if (!d.second->audio_streams().empty()) {
-                       set_audio_stream (d.second->audio_streams().front());
+               if (d.audio && !d.audio->audio_streams().empty()) {
+                       set_content_audio_stream (d.audio->audio_streams().front());
                }
                
-               if (!d.first->subtitle_streams().empty()) {
-                       set_subtitle_stream (d.first->subtitle_streams().front());
+               if (!d.video->subtitle_streams().empty()) {
+                       set_subtitle_stream (d.video->subtitle_streams().front());
                }
                
                {
@@ -964,8 +878,6 @@ Film::set_content (string c)
                
                signal_changed (CONTENT);
                
-               set_content_digest (md5_digest (content_path ()));
-               
                examine_content ();
 
        } catch (...) {
@@ -975,6 +887,37 @@ Film::set_content (string c)
                throw;
 
        }
+
+       /* Default format */
+       switch (content_type()) {
+       case STILL:
+               set_format (Format::from_id ("var-185"));
+               break;
+       case VIDEO:
+               set_format (Format::from_id ("185"));
+               break;
+       }
+
+       /* Still image DCPs must use external audio */
+       if (content_type() == STILL) {
+               set_use_content_audio (false);
+       }
+}
+
+void
+Film::set_trust_content_header (bool t)
+{
+       {
+               boost::mutex::scoped_lock lm (_state_mutex);
+               _trust_content_header = t;
+       }
+       
+       signal_changed (TRUST_CONTENT_HEADER);
+
+       if (!_trust_content_header && !content().empty()) {
+               /* We just said that we don't trust the content's header */
+               examine_content ();
+       }
 }
               
 void
@@ -1085,23 +1028,23 @@ Film::set_scaler (Scaler const * s)
 }
 
 void
-Film::set_dcp_trim_start (int t)
+Film::set_trim_start (int t)
 {
        {
                boost::mutex::scoped_lock lm (_state_mutex);
-               _dcp_trim_start = t;
+               _trim_start = t;
        }
-       signal_changed (DCP_TRIM_START);
+       signal_changed (TRIM_START);
 }
 
 void
-Film::set_dcp_trim_end (int t)
+Film::set_trim_end (int t)
 {
        {
                boost::mutex::scoped_lock lm (_state_mutex);
-               _dcp_trim_end = t;
+               _trim_end = t;
        }
-       signal_changed (DCP_TRIM_END);
+       signal_changed (TRIM_END);
 }
 
 void
@@ -1115,33 +1058,40 @@ Film::set_dcp_ab (bool a)
 }
 
 void
-Film::set_use_content_audio (bool s)
+Film::set_content_audio_stream (shared_ptr<AudioStream> s)
 {
        {
                boost::mutex::scoped_lock lm (_state_mutex);
-               _use_content_audio = s;
+               _content_audio_stream = s;
        }
-       signal_changed (USE_CONTENT_AUDIO);
+       signal_changed (CONTENT_AUDIO_STREAM);
 }
 
 void
-Film::set_audio_stream (optional<AudioStream> s)
+Film::set_external_audio (vector<string> a)
 {
        {
                boost::mutex::scoped_lock lm (_state_mutex);
-               _audio_stream = s;
+               _external_audio = a;
+       }
+
+       shared_ptr<ExternalAudioDecoder> decoder (new ExternalAudioDecoder (shared_from_this(), DecodeOptions(), 0));
+       if (decoder->audio_stream()) {
+               _external_audio_stream = decoder->audio_stream ();
        }
-       signal_changed (AUDIO_STREAM);
+       
+       signal_changed (EXTERNAL_AUDIO);
 }
 
 void
-Film::set_external_audio (vector<string> a)
+Film::set_use_content_audio (bool e)
 {
        {
                boost::mutex::scoped_lock lm (_state_mutex);
-               _external_audio = a;
+               _use_content_audio = e;
        }
-       signal_changed (EXTERNAL_AUDIO);
+
+       signal_changed (USE_CONTENT_AUDIO);
 }
 
 void
@@ -1175,7 +1125,7 @@ Film::set_still_duration (int d)
 }
 
 void
-Film::set_subtitle_stream (optional<SubtitleStream> s)
+Film::set_subtitle_stream (shared_ptr<SubtitleStream> s)
 {
        {
                boost::mutex::scoped_lock lm (_state_mutex);
@@ -1215,87 +1165,37 @@ Film::set_subtitle_scale (float s)
 }
 
 void
-Film::set_audio_language (string l)
-{
-       {
-               boost::mutex::scoped_lock lm (_state_mutex);
-               _audio_language = l;
-       }
-       signal_changed (DCI_METADATA);
-}
-
-void
-Film::set_subtitle_language (string l)
-{
-       {
-               boost::mutex::scoped_lock lm (_state_mutex);
-               _subtitle_language = l;
-       }
-       signal_changed (DCI_METADATA);
-}
-
-void
-Film::set_territory (string t)
+Film::set_colour_lut (int i)
 {
        {
                boost::mutex::scoped_lock lm (_state_mutex);
-               _territory = t;
+               _colour_lut = i;
        }
-       signal_changed (DCI_METADATA);
+       signal_changed (COLOUR_LUT);
 }
 
 void
-Film::set_rating (string r)
+Film::set_j2k_bandwidth (int b)
 {
        {
                boost::mutex::scoped_lock lm (_state_mutex);
-               _rating = r;
+               _j2k_bandwidth = b;
        }
-       signal_changed (DCI_METADATA);
+       signal_changed (J2K_BANDWIDTH);
 }
 
 void
-Film::set_studio (string s)
+Film::set_dci_metadata (DCIMetadata m)
 {
        {
                boost::mutex::scoped_lock lm (_state_mutex);
-               _studio = s;
+               _dci_metadata = m;
        }
        signal_changed (DCI_METADATA);
 }
 
 void
-Film::set_facility (string f)
-{
-       {
-               boost::mutex::scoped_lock lm (_state_mutex);
-               _facility = f;
-       }
-       signal_changed (DCI_METADATA);
-}
-
-void
-Film::set_package_type (string p)
-{
-       {
-               boost::mutex::scoped_lock lm (_state_mutex);
-               _package_type = p;
-       }
-       signal_changed (DCI_METADATA);
-}
-
-void
-Film::set_thumbs (vector<SourceFrame> t)
-{
-       {
-               boost::mutex::scoped_lock lm (_state_mutex);
-               _thumbs = t;
-       }
-       signal_changed (THUMBS);
-}
-
-void
-Film::set_size (Size s)
+Film::set_size (libdcp::Size s)
 {
        {
                boost::mutex::scoped_lock lm (_state_mutex);
@@ -1322,7 +1222,17 @@ Film::unset_length ()
                _length = boost::none;
        }
        signal_changed (LENGTH);
-}      
+}
+
+void
+Film::set_dcp_intrinsic_duration (int d)
+{
+       {
+               boost::mutex::scoped_lock lm (_state_mutex);
+               _dcp_intrinsic_duration = d;
+       }
+       signal_changed (DCP_INTRINSIC_DURATION);
+}
 
 void
 Film::set_content_digest (string d)
@@ -1335,23 +1245,23 @@ Film::set_content_digest (string d)
 }
 
 void
-Film::set_audio_streams (vector<AudioStream> s)
+Film::set_content_audio_streams (vector<shared_ptr<AudioStream> > s)
 {
        {
                boost::mutex::scoped_lock lm (_state_mutex);
-               _audio_streams = s;
+               _content_audio_streams = s;
        }
-       _dirty = true;
+       signal_changed (CONTENT_AUDIO_STREAMS);
 }
 
 void
-Film::set_subtitle_streams (vector<SubtitleStream> s)
+Film::set_subtitle_streams (vector<shared_ptr<SubtitleStream> > s)
 {
        {
                boost::mutex::scoped_lock lm (_state_mutex);
                _subtitle_streams = s;
        }
-       _dirty = true;
+       signal_changed (SUBTITLE_STREAMS);
 }
 
 void
@@ -1380,24 +1290,12 @@ Film::signal_changed (Property p)
 int
 Film::audio_channels () const
 {
-       boost::mutex::scoped_lock lm (_state_mutex);
-       
-       if (_use_content_audio) {
-               if (_audio_stream) {
-                       return _audio_stream.get().channels ();
-               }
-       } else {
-               int last_filled = -1;
-               for (size_t i = 0; i < _external_audio.size(); ++i) {
-                       if (!_external_audio[i].empty()) {
-                               last_filled = i;
-                       }
-               }
-               
-               return last_filled + 1;
+       shared_ptr<AudioStream> s = audio_stream ();
+       if (!s) {
+               return 0;
        }
 
-       return 0;
+       return s->channels ();
 }
 
 void
@@ -1406,3 +1304,47 @@ Film::set_dci_date_today ()
        _dci_date = boost::gregorian::day_clock::local_day ();
 }
 
+boost::shared_ptr<AudioStream>
+Film::audio_stream () const
+{
+       if (use_content_audio()) {
+               return _content_audio_stream;
+       }
+
+       return _external_audio_stream;
+}
+
+string
+Film::hash_path (int f) const
+{
+       boost::filesystem::path p;
+       p /= hash_dir ();
+
+       stringstream s;
+       s.width (8);
+       s << setfill('0') << f << ".md5";
+
+       p /= s.str();
+       return p.string ();
+}
+
+string
+Film::j2c_path (int f, bool t) const
+{
+       boost::filesystem::path p;
+       p /= "j2c";
+       p /= video_state_identifier ();
+
+       stringstream s;
+       s.width (8);
+       s << setfill('0') << f << ".j2c";
+
+       if (t) {
+               s << ".tmp";
+       }
+
+       p /= s.str();
+       return p.string ();
+}
+
+