Catch problems when using dcp_file() and getting more than one answer.
[dcpomatic.git] / test / test.cc
index fba6aea9f0dd4f9cd6588b13d69338d85625bbf5..e94a4541336be02de12dccf528f748ee3de645d4 100644 (file)
@@ -38,6 +38,7 @@
 #include "lib/job.h"
 #include "lib/job_manager.h"
 #include "lib/log_entry.h"
+#include "lib/make_dcp.h"
 #include "lib/ratio.h"
 #include "lib/signal_manager.h"
 #include "lib/util.h"
@@ -49,6 +50,7 @@
 #include <dcp/openjpeg_image.h>
 #include <dcp/reel.h>
 #include <dcp/reel_picture_asset.h>
+#include <dcp/warnings.h>
 #include <asdcp/AS_DCP.h>
 #include <png.h>
 #include <sndfile.h>
@@ -58,8 +60,11 @@ extern "C" {
 }
 #define BOOST_TEST_DYN_LINK
 #define BOOST_TEST_MODULE dcpomatic_test
-#include <boost/test/unit_test.hpp>
 #include <boost/algorithm/string.hpp>
+LIBDCP_DISABLE_WARNINGS
+#include <boost/random.hpp>
+LIBDCP_ENABLE_WARNINGS
+#include <boost/test/unit_test.hpp>
 #include <iostream>
 #include <list>
 #include <vector>
@@ -105,7 +110,6 @@ setup_test_config ()
        Config::instance()->set_master_encoding_threads (boost::thread::hardware_concurrency() / 2);
        Config::instance()->set_server_encoding_threads (1);
        Config::instance()->set_server_port_base (61921);
-       Config::instance()->set_default_container (Ratio::from_id ("185"));
        Config::instance()->set_default_dcp_content_type (static_cast<DCPContentType*> (0));
        Config::instance()->set_default_audio_delay (0);
        Config::instance()->set_default_j2k_bandwidth (100000000);
@@ -278,7 +282,7 @@ check_mxf_audio_file (boost::filesystem::path ref, boost::filesystem::path check
        for (size_t i = 0; i < ref_desc.ContainerDuration; ++i) {
                ref_reader.ReadFrame (i, ref_buffer, 0);
                check_reader.ReadFrame (i, check_buffer, 0);
-               BOOST_REQUIRE (memcmp(ref_buffer.RoData(), check_buffer.RoData(), ref_buffer.Size()) == 0);
+               BOOST_REQUIRE_MESSAGE(memcmp(ref_buffer.RoData(), check_buffer.RoData(), ref_buffer.Size()) == 0, "Audio MXF differs in frame " << i);
        }
 }
 
@@ -368,6 +372,8 @@ rms_error (boost::filesystem::path ref, boost::filesystem::path check)
        FFmpegImageProxy check_proxy (check);
        auto check_image = check_proxy.image(Image::Alignment::COMPACT).image;
 
+       BOOST_REQUIRE_EQUAL (ref_image->planes(), check_image->planes());
+
        BOOST_REQUIRE_EQUAL (ref_image->pixel_format(), check_image->pixel_format());
        auto const format = ref_image->pixel_format();
 
@@ -416,6 +422,19 @@ rms_error (boost::filesystem::path ref, boost::filesystem::path check)
                        }
                        break;
                }
+               case AV_PIX_FMT_YUVJ420P:
+               {
+                       for (int c = 0; c < ref_image->planes(); ++c) {
+                               for (int y = 0; y < height / ref_image->vertical_factor(c); ++y) {
+                                       auto p = ref_image->data()[c] + y * ref_image->stride()[c];
+                                       auto q = check_image->data()[c] + y * check_image->stride()[c];
+                                       for (int x = 0; x < ref_image->line_size()[c]; ++x) {
+                                               sum_square += pow((*p++ - *q++), 2);
+                                       }
+                               }
+                       }
+                       break;
+               }
                default:
                        BOOST_REQUIRE_MESSAGE (false, "unrecognised pixel format " << format);
        }
@@ -446,46 +465,40 @@ check_file (boost::filesystem::path ref, boost::filesystem::path check)
 {
        auto N = boost::filesystem::file_size (ref);
        BOOST_CHECK_EQUAL (N, boost::filesystem::file_size (check));
-       auto ref_file = fopen_boost (ref, "rb");
+       dcp::File ref_file(ref, "rb");
        BOOST_CHECK (ref_file);
-       auto check_file = fopen_boost (check, "rb");
+       dcp::File check_file(check, "rb");
        BOOST_CHECK (check_file);
 
        int const buffer_size = 65536;
-       uint8_t* ref_buffer = new uint8_t[buffer_size];
-       uint8_t* check_buffer = new uint8_t[buffer_size];
+       std::vector<uint8_t> ref_buffer(buffer_size);
+       std::vector<uint8_t> check_buffer(buffer_size);
 
        string error = "File " + check.string() + " differs from reference " + ref.string();
 
        while (N) {
                uintmax_t this_time = min (uintmax_t (buffer_size), N);
-               size_t r = fread (ref_buffer, 1, this_time, ref_file);
+               size_t r = ref_file.read (ref_buffer.data(), 1, this_time);
                BOOST_CHECK_EQUAL (r, this_time);
-               r = fread (check_buffer, 1, this_time, check_file);
+               r = check_file.read(check_buffer.data(), 1, this_time);
                BOOST_CHECK_EQUAL (r, this_time);
 
-               BOOST_CHECK_MESSAGE (memcmp (ref_buffer, check_buffer, this_time) == 0, error);
-               if (memcmp (ref_buffer, check_buffer, this_time)) {
+               BOOST_CHECK_MESSAGE (memcmp (ref_buffer.data(), check_buffer.data(), this_time) == 0, error);
+               if (memcmp (ref_buffer.data(), check_buffer.data(), this_time)) {
                        break;
                }
 
                N -= this_time;
        }
-
-       delete[] ref_buffer;
-       delete[] check_buffer;
-
-       fclose (ref_file);
-       fclose (check_file);
 }
 
 
 void
 check_text_file (boost::filesystem::path ref, boost::filesystem::path check)
 {
-       auto ref_file = fopen_boost (ref, "r");
+       dcp::File ref_file(ref, "r");
        BOOST_CHECK (ref_file);
-       auto check_file = fopen_boost (check, "r");
+       dcp::File check_file(check, "r");
        BOOST_CHECK (check_file);
 
        int const buffer_size = std::max(
@@ -495,20 +508,14 @@ check_text_file (boost::filesystem::path ref, boost::filesystem::path check)
 
        DCPOMATIC_ASSERT (buffer_size < 1024 * 1024);
 
-       auto ref_buffer = new uint8_t[buffer_size];
-       auto ref_read = fread(ref_buffer, 1, buffer_size, ref_file);
-       auto check_buffer = new uint8_t[buffer_size];
-       auto check_read = fread(check_buffer, 1, buffer_size, check_file);
+       std::vector<uint8_t> ref_buffer(buffer_size);
+       auto ref_read = ref_file.read(ref_buffer.data(), 1, buffer_size);
+       std::vector<uint8_t> check_buffer(buffer_size);
+       auto check_read = check_file.read(check_buffer.data(), 1, buffer_size);
        BOOST_CHECK_EQUAL (ref_read, check_read);
 
        string const error = "File " + check.string() + " differs from reference " + ref.string();
-       BOOST_CHECK_MESSAGE(memcmp(ref_buffer, check_buffer, ref_read) == 0, error);
-
-       delete[] ref_buffer;
-       delete[] check_buffer;
-
-       fclose (ref_file);
-       fclose (check_file);
+       BOOST_CHECK_MESSAGE(memcmp(ref_buffer.data(), check_buffer.data(), ref_read) == 0, error);
 }
 
 
@@ -544,6 +551,7 @@ check_dcp (boost::filesystem::path ref, boost::filesystem::path check)
        options.reel_annotation_texts_can_differ = true;
        options.reel_hashes_can_differ = true;
        options.issue_dates_can_differ = true;
+       options.max_subtitle_vertical_position_error = 0.001;
 
        BOOST_CHECK (ref_dcp.equals (check_dcp, options, boost::bind (note, _1, _2)));
 }
@@ -698,24 +706,22 @@ png_flush (png_structp)
 
 
 static void
-png_error_fn (png_structp png_ptr, char const * message)
+png_error_fn (png_structp, char const * message)
 {
-       reinterpret_cast<Image*>(png_get_error_ptr(png_ptr))->png_error (message);
+       throw EncodeError (String::compose("Error during PNG write: %1", message));
 }
 
 
 void
 write_image (shared_ptr<const Image> image, boost::filesystem::path file)
 {
-       int png_color_type = 0;
+       int png_color_type = PNG_COLOR_TYPE_RGB;
        int bits_per_pixel = 0;
        switch (image->pixel_format()) {
        case AV_PIX_FMT_RGB24:
-               png_color_type = PNG_COLOR_TYPE_RGB;
                bits_per_pixel = 8;
                break;
        case AV_PIX_FMT_XYZ12LE:
-               png_color_type = PNG_COLOR_TYPE_RGB;
                bits_per_pixel = 16;
                break;
        default:
@@ -735,9 +741,40 @@ write_image (shared_ptr<const Image> image, boost::filesystem::path file)
 
        png_set_IHDR (png_ptr, info_ptr, image->size().width, image->size().height, bits_per_pixel, png_color_type, PNG_INTERLACE_NONE, PNG_COMPRESSION_TYPE_DEFAULT, PNG_FILTER_TYPE_DEFAULT);
 
-       png_byte ** row_pointers = reinterpret_cast<png_byte **>(png_malloc(png_ptr, image->size().height * sizeof(png_byte *)));
-       for (int i = 0; i < image->size().height; ++i) {
-               row_pointers[i] = (png_byte *) (image->data()[0] + i * image->stride()[0]);
+       auto const width = image->size().width;
+       auto const height = image->size().height;
+       auto const stride = image->stride()[0];
+
+       vector<vector<uint8_t>> data_to_write(height);
+       for (int y = 0; y < height; ++y) {
+               data_to_write[y].resize(stride);
+       }
+
+       switch (image->pixel_format()) {
+       case AV_PIX_FMT_RGB24:
+               for (int y = 0; y < height; ++y) {
+                       memcpy(data_to_write[y].data(), image->data()[0] + y * stride, stride);
+               }
+               break;
+       case AV_PIX_FMT_XYZ12LE:
+               /* 16-bit pixel values must be written MSB first */
+               for (int y = 0; y < height; ++y) {
+                       data_to_write[y].resize(stride);
+                       uint8_t* original = image->data()[0] + y * stride;
+                       for (int x = 0; x < width * 3; ++x) {
+                               data_to_write[y][x * 2] = original[1];
+                               data_to_write[y][x * 2 + 1] = original[0];
+                               original += 2;
+                       }
+               }
+               break;
+       default:
+               break;
+       }
+
+       png_byte ** row_pointers = reinterpret_cast<png_byte**>(png_malloc(png_ptr, image->size().height * sizeof(png_byte *)));
+       for (int y = 0; y < height; ++y) {
+               row_pointers[y] = reinterpret_cast<png_byte*>(data_to_write[y].data());
        }
 
        png_write_info (png_ptr, info_ptr);
@@ -787,25 +824,23 @@ check_one_frame (boost::filesystem::path dcp_dir, int64_t index, boost::filesyst
 boost::filesystem::path
 dcp_file (shared_ptr<const Film> film, string prefix)
 {
-       auto i = boost::filesystem::directory_iterator (film->dir(film->dcp_name()));
-       while (i != boost::filesystem::directory_iterator() && !boost::algorithm::starts_with (i->path().leaf().string(), prefix)) {
-               ++i;
-       }
+       using namespace boost::filesystem;
+
+       vector<directory_entry> matches;
+       std::copy_if(directory_iterator(film->dir(film->dcp_name())), directory_iterator(), std::back_inserter(matches), [&prefix](directory_entry const& entry) {
+               return boost::algorithm::starts_with(entry.path().leaf().string(), prefix);
+       });
 
-       BOOST_REQUIRE (i != boost::filesystem::directory_iterator());
-       return i->path();
+       BOOST_REQUIRE_MESSAGE(matches.size() == 1, "Found " << matches.size() << " files with prefix " << prefix);
+       return matches[0].path();
 }
 
 boost::filesystem::path
 subtitle_file (shared_ptr<Film> film)
 {
-       for (auto i: boost::filesystem::directory_iterator(film->directory().get() / film->dcp_name (false))) {
-               if (boost::filesystem::is_directory(i.path())) {
-                       for (auto j: boost::filesystem::directory_iterator(i.path())) {
-                               if (boost::algorithm::starts_with(j.path().leaf().string(), "sub_")) {
-                                       return j.path();
-                               }
-                       }
+       for (auto i: boost::filesystem::recursive_directory_iterator(film->directory().get() / film->dcp_name(false))) {
+               if (boost::algorithm::starts_with(i.path().leaf().string(), "sub_")) {
+                       return i.path();
                }
        }
 
@@ -814,16 +849,22 @@ subtitle_file (shared_ptr<Film> film)
        return boost::filesystem::path("/");
 }
 
+
 void
 make_random_file (boost::filesystem::path path, size_t size)
 {
-       auto t = fopen_boost(path, "wb");
-       BOOST_REQUIRE (t);
-       for (size_t i = 0; i < size; ++i) {
-               uint8_t r = rand() & 0xff;
-               fwrite (&r, 1, 1, t);
+       dcp::File random_file(path, "wb");
+       BOOST_REQUIRE (random_file);
+
+       boost::random::mt19937 rng(1);
+       boost::random::uniform_int_distribution<uint64_t> dist(0);
+
+       while (size > 0) {
+               auto this_time = std::min(size, size_t(8));
+               uint64_t random = dist(rng);
+               random_file.write(&random, this_time, 1);
+               size -= this_time;
        }
-       fclose (t);
 }
 
 
@@ -893,7 +934,7 @@ void
 make_and_verify_dcp (shared_ptr<Film> film, vector<dcp::VerificationNote::Code> ignore)
 {
        film->write_metadata ();
-       film->make_dcp (TranscodeJob::ChangedBehaviour::IGNORE);
+       make_dcp (film, TranscodeJob::ChangedBehaviour::IGNORE);
        BOOST_REQUIRE (!wait_for_jobs());
        auto notes = dcp::verify ({film->dir(film->dcp_name())}, &stage, &progress, TestPaths::xsd());
        bool ok = true;
@@ -927,3 +968,41 @@ ConfigRestorer::~ConfigRestorer()
        setup_test_config();
 }
 
+
+boost::filesystem::path
+find_file (boost::filesystem::path dir, string filename_part)
+{
+       boost::optional<boost::filesystem::path> found;
+       for (auto i: boost::filesystem::directory_iterator(dir)) {
+               if (i.path().filename().string().find(filename_part) != string::npos) {
+                       BOOST_REQUIRE (!found);
+                       found = i;
+               }
+       }
+       BOOST_REQUIRE (found);
+       return *found;
+}
+
+
+Editor::Editor(boost::filesystem::path path)
+       : _path(path)
+       , _content(dcp::file_to_string(path))
+{
+
+}
+
+Editor::~Editor()
+{
+       auto f = fopen(_path.string().c_str(), "w");
+       BOOST_REQUIRE(f);
+       fwrite(_content.c_str(), _content.length(), 1, f);
+       fclose(f);
+}
+
+void
+Editor::replace(string a, string b)
+{
+       auto old_content = _content;
+       boost::algorithm::replace_all(_content, a, b);
+       BOOST_REQUIRE(_content != old_content);
+}