Merge branch '1.0' of ssh://carlh.dnsalias.org/home/carl/git/dvdomatic into 1.0
[dcpomatic.git] / src / lib / util.cc
1 /*
2     Copyright (C) 2012 Carl Hetherington <cth@carlh.net>
3     Copyright (C) 2000-2007 Paul Davis
4
5     This program is free software; you can redistribute it and/or modify
6     it under the terms of the GNU General Public License as published by
7     the Free Software Foundation; either version 2 of the License, or
8     (at your option) any later version.
9
10     This program is distributed in the hope that it will be useful,
11     but WITHOUT ANY WARRANTY; without even the implied warranty of
12     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13     GNU General Public License for more details.
14
15     You should have received a copy of the GNU General Public License
16     along with this program; if not, write to the Free Software
17     Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
18
19 */
20
21 /** @file src/lib/util.cc
22  *  @brief Some utility functions and classes.
23  */
24
25 #include <sstream>
26 #include <iomanip>
27 #include <iostream>
28 #include <fstream>
29 #include <climits>
30 #ifdef DCPOMATIC_POSIX
31 #include <execinfo.h>
32 #include <cxxabi.h>
33 #endif
34 #include <libssh/libssh.h>
35 #include <signal.h>
36 #include <boost/algorithm/string.hpp>
37 #include <boost/bind.hpp>
38 #include <boost/lambda/lambda.hpp>
39 #include <boost/lexical_cast.hpp>
40 #include <boost/thread.hpp>
41 #include <boost/filesystem.hpp>
42 #include <glib.h>
43 #include <openjpeg.h>
44 #include <openssl/md5.h>
45 #include <magick/MagickCore.h>
46 #include <magick/version.h>
47 #include <libdcp/version.h>
48 extern "C" {
49 #include <libavcodec/avcodec.h>
50 #include <libavformat/avformat.h>
51 #include <libswscale/swscale.h>
52 #include <libavfilter/avfiltergraph.h>
53 #include <libpostproc/postprocess.h>
54 #include <libavutil/pixfmt.h>
55 }
56 #include "util.h"
57 #include "exceptions.h"
58 #include "scaler.h"
59 #include "dcp_content_type.h"
60 #include "filter.h"
61 #include "sound_processor.h"
62 #include "config.h"
63 #include "ratio.h"
64 #ifdef DCPOMATIC_WINDOWS
65 #include "stack.hpp"
66 #endif
67
68 #include "i18n.h"
69
70 using std::string;
71 using std::stringstream;
72 using std::setfill;
73 using std::ostream;
74 using std::endl;
75 using std::vector;
76 using std::hex;
77 using std::setw;
78 using std::ifstream;
79 using std::ios;
80 using std::min;
81 using std::max;
82 using std::list;
83 using std::multimap;
84 using std::istream;
85 using std::numeric_limits;
86 using std::pair;
87 using std::ofstream;
88 using boost::shared_ptr;
89 using boost::thread;
90 using boost::lexical_cast;
91 using boost::optional;
92 using libdcp::Size;
93
94 static boost::thread::id ui_thread;
95 static boost::filesystem::path backtrace_file;
96
97 /** Convert some number of seconds to a string representation
98  *  in hours, minutes and seconds.
99  *
100  *  @param s Seconds.
101  *  @return String of the form H:M:S (where H is hours, M
102  *  is minutes and S is seconds).
103  */
104 string
105 seconds_to_hms (int s)
106 {
107         int m = s / 60;
108         s -= (m * 60);
109         int h = m / 60;
110         m -= (h * 60);
111
112         stringstream hms;
113         hms << h << N_(":");
114         hms.width (2);
115         hms << std::setfill ('0') << m << N_(":");
116         hms.width (2);
117         hms << std::setfill ('0') << s;
118
119         return hms.str ();
120 }
121
122 /** @param s Number of seconds.
123  *  @return String containing an approximate description of s (e.g. "about 2 hours")
124  */
125 string
126 seconds_to_approximate_hms (int s)
127 {
128         int m = s / 60;
129         s -= (m * 60);
130         int h = m / 60;
131         m -= (h * 60);
132
133         stringstream ap;
134         
135         if (h > 0) {
136                 if (m > 30) {
137                         ap << (h + 1) << N_(" ") << _("hours");
138                 } else {
139                         if (h == 1) {
140                                 ap << N_("1 ") << _("hour");
141                         } else {
142                                 ap << h << N_(" ") << _("hours");
143                         }
144                 }
145         } else if (m > 0) {
146                 if (m == 1) {
147                         ap << N_("1 ") << _("minute");
148                 } else {
149                         ap << m << N_(" ") << _("minutes");
150                 }
151         } else {
152                 ap << s << N_(" ") << _("seconds");
153         }
154
155         return ap.str ();
156 }
157
158 #ifdef DCPOMATIC_POSIX
159 /** @param l Mangled C++ identifier.
160  *  @return Demangled version.
161  */
162 static string
163 demangle (string l)
164 {
165         string::size_type const b = l.find_first_of (N_("("));
166         if (b == string::npos) {
167                 return l;
168         }
169
170         string::size_type const p = l.find_last_of (N_("+"));
171         if (p == string::npos) {
172                 return l;
173         }
174
175         if ((p - b) <= 1) {
176                 return l;
177         }
178         
179         string const fn = l.substr (b + 1, p - b - 1);
180
181         int status;
182         try {
183                 
184                 char* realname = abi::__cxa_demangle (fn.c_str(), 0, 0, &status);
185                 string d (realname);
186                 free (realname);
187                 return d;
188                 
189         } catch (std::exception) {
190                 
191         }
192         
193         return l;
194 }
195
196 /** Write a stacktrace to an ostream.
197  *  @param out Stream to write to.
198  *  @param levels Number of levels to go up the call stack.
199  */
200 void
201 stacktrace (ostream& out, int levels)
202 {
203         void *array[200];
204         size_t size = backtrace (array, 200);
205         char** strings = backtrace_symbols (array, size);
206      
207         if (strings) {
208                 for (size_t i = 0; i < size && (levels == 0 || i < size_t(levels)); i++) {
209                         out << N_("  ") << demangle (strings[i]) << "\n";
210                 }
211                 
212                 free (strings);
213         }
214 }
215 #endif
216
217 /** @param v Version as used by FFmpeg.
218  *  @return A string representation of v.
219  */
220 static string
221 ffmpeg_version_to_string (int v)
222 {
223         stringstream s;
224         s << ((v & 0xff0000) >> 16) << N_(".") << ((v & 0xff00) >> 8) << N_(".") << (v & 0xff);
225         return s.str ();
226 }
227
228 /** Return a user-readable string summarising the versions of our dependencies */
229 string
230 dependency_version_summary ()
231 {
232         stringstream s;
233         s << N_("libopenjpeg ") << opj_version () << N_(", ")
234           << N_("libavcodec ") << ffmpeg_version_to_string (avcodec_version()) << N_(", ")
235           << N_("libavfilter ") << ffmpeg_version_to_string (avfilter_version()) << N_(", ")
236           << N_("libavformat ") << ffmpeg_version_to_string (avformat_version()) << N_(", ")
237           << N_("libavutil ") << ffmpeg_version_to_string (avutil_version()) << N_(", ")
238           << N_("libpostproc ") << ffmpeg_version_to_string (postproc_version()) << N_(", ")
239           << N_("libswscale ") << ffmpeg_version_to_string (swscale_version()) << N_(", ")
240           << MagickVersion << N_(", ")
241           << N_("libssh ") << ssh_version (0) << N_(", ")
242           << N_("libdcp ") << libdcp::version << N_(" git ") << libdcp::git_commit;
243
244         return s.str ();
245 }
246
247 double
248 seconds (struct timeval t)
249 {
250         return t.tv_sec + (double (t.tv_usec) / 1e6);
251 }
252
253 #ifdef DCPOMATIC_WINDOWS
254 LONG WINAPI exception_handler(struct _EXCEPTION_POINTERS *)
255 {
256         dbg::stack s;
257         ofstream f (backtrace_file.string().c_str());
258         std::copy(s.begin(), s.end(), std::ostream_iterator<dbg::stack_frame>(f, "\n"));
259         return EXCEPTION_CONTINUE_SEARCH;
260 }
261 #endif
262
263 /** Call the required functions to set up DCP-o-matic's static arrays, etc.
264  *  Must be called from the UI thread, if there is one.
265  */
266 void
267 dcpomatic_setup ()
268 {
269 #ifdef DCPOMATIC_WINDOWS
270         backtrace_file /= g_get_user_config_dir ();
271         backtrace_file /= "backtrace.txt";
272         SetUnhandledExceptionFilter(exception_handler);
273 #endif  
274         
275         avfilter_register_all ();
276         
277         Ratio::setup_ratios ();
278         DCPContentType::setup_dcp_content_types ();
279         Scaler::setup_scalers ();
280         Filter::setup_filters ();
281         SoundProcessor::setup_sound_processors ();
282
283         ui_thread = boost::this_thread::get_id ();
284 }
285
286 #ifdef DCPOMATIC_WINDOWS
287 boost::filesystem::path
288 mo_path ()
289 {
290         wchar_t buffer[512];
291         GetModuleFileName (0, buffer, 512 * sizeof(wchar_t));
292         boost::filesystem::path p (buffer);
293         p = p.parent_path ();
294         p = p.parent_path ();
295         p /= "locale";
296         return p;
297 }
298 #endif
299
300 void
301 dcpomatic_setup_gettext_i18n (string lang)
302 {
303 #ifdef DCPOMATIC_POSIX
304         lang += ".UTF8";
305 #endif
306
307         if (!lang.empty ()) {
308                 /* Override our environment language; this is essential on
309                    Windows.
310                 */
311                 char cmd[64];
312                 snprintf (cmd, sizeof(cmd), "LANGUAGE=%s", lang.c_str ());
313                 putenv (cmd);
314                 snprintf (cmd, sizeof(cmd), "LANG=%s", lang.c_str ());
315                 putenv (cmd);
316         }
317
318         setlocale (LC_ALL, "");
319         textdomain ("libdcpomatic");
320
321 #ifdef DCPOMATIC_WINDOWS
322         bindtextdomain ("libdcpomatic", mo_path().string().c_str());
323         bind_textdomain_codeset ("libdcpomatic", "UTF8");
324 #endif  
325
326 #ifdef DCPOMATIC_POSIX
327         bindtextdomain ("libdcpomatic", POSIX_LOCALE_PREFIX);
328 #endif
329 }
330
331 /** @param s A string.
332  *  @return Parts of the string split at spaces, except when a space is within quotation marks.
333  */
334 vector<string>
335 split_at_spaces_considering_quotes (string s)
336 {
337         vector<string> out;
338         bool in_quotes = false;
339         string c;
340         for (string::size_type i = 0; i < s.length(); ++i) {
341                 if (s[i] == ' ' && !in_quotes) {
342                         out.push_back (c);
343                         c = N_("");
344                 } else if (s[i] == '"') {
345                         in_quotes = !in_quotes;
346                 } else {
347                         c += s[i];
348                 }
349         }
350
351         out.push_back (c);
352         return out;
353 }
354
355 string
356 md5_digest (void const * data, int size)
357 {
358         MD5_CTX md5_context;
359         MD5_Init (&md5_context);
360         MD5_Update (&md5_context, data, size);
361         unsigned char digest[MD5_DIGEST_LENGTH];
362         MD5_Final (digest, &md5_context);
363         
364         stringstream s;
365         for (int i = 0; i < MD5_DIGEST_LENGTH; ++i) {
366                 s << std::hex << std::setfill('0') << std::setw(2) << ((int) digest[i]);
367         }
368
369         return s.str ();
370 }
371
372 /** @param file File name.
373  *  @return MD5 digest of file's contents.
374  */
375 string
376 md5_digest (boost::filesystem::path file)
377 {
378         ifstream f (file.string().c_str(), std::ios::binary);
379         if (!f.good ()) {
380                 throw OpenFileError (file.string());
381         }
382         
383         f.seekg (0, std::ios::end);
384         int bytes = f.tellg ();
385         f.seekg (0, std::ios::beg);
386
387         int const buffer_size = 64 * 1024;
388         char buffer[buffer_size];
389
390         MD5_CTX md5_context;
391         MD5_Init (&md5_context);
392         while (bytes > 0) {
393                 int const t = min (bytes, buffer_size);
394                 f.read (buffer, t);
395                 MD5_Update (&md5_context, buffer, t);
396                 bytes -= t;
397         }
398
399         unsigned char digest[MD5_DIGEST_LENGTH];
400         MD5_Final (digest, &md5_context);
401
402         stringstream s;
403         for (int i = 0; i < MD5_DIGEST_LENGTH; ++i) {
404                 s << std::hex << std::setfill('0') << std::setw(2) << ((int) digest[i]);
405         }
406
407         return s.str ();
408 }
409
410 string
411 md5_digest_directory (boost::filesystem::path directory)
412 {
413         int const buffer_size = 64 * 1024;
414         char buffer[buffer_size];
415
416         MD5_CTX md5_context;
417         MD5_Init (&md5_context);
418         
419         for (boost::filesystem::directory_iterator i(directory); i != boost::filesystem::directory_iterator(); ++i) {
420                 ifstream f (i->path().string().c_str(), std::ios::binary);
421                 if (!f.good ()) {
422                         throw OpenFileError (i->path().string());
423                 }
424         
425                 f.seekg (0, std::ios::end);
426                 int bytes = f.tellg ();
427                 f.seekg (0, std::ios::beg);
428
429                 while (bytes > 0) {
430                         int const t = min (bytes, buffer_size);
431                         f.read (buffer, t);
432                         MD5_Update (&md5_context, buffer, t);
433                         bytes -= t;
434                 }
435         }
436
437         unsigned char digest[MD5_DIGEST_LENGTH];
438         MD5_Final (digest, &md5_context);
439
440         stringstream s;
441         for (int i = 0; i < MD5_DIGEST_LENGTH; ++i) {
442                 s << std::hex << std::setfill('0') << std::setw(2) << ((int) digest[i]);
443         }
444
445         return s.str ();
446 }
447
448 static bool
449 about_equal (float a, float b)
450 {
451         /* A film of F seconds at f FPS will be Ff frames;
452            Consider some delta FPS d, so if we run the same
453            film at (f + d) FPS it will last F(f + d) seconds.
454
455            Hence the difference in length over the length of the film will
456            be F(f + d) - Ff frames
457             = Ff + Fd - Ff frames
458             = Fd frames
459             = Fd/f seconds
460  
461            So if we accept a difference of 1 frame, ie 1/f seconds, we can
462            say that
463
464            1/f = Fd/f
465         ie 1 = Fd
466         ie d = 1/F
467  
468            So for a 3hr film, ie F = 3 * 60 * 60 = 10800, the acceptable
469            FPS error is 1/F ~= 0.0001 ~= 10-e4
470         */
471
472         return (fabs (a - b) < 1e-4);
473 }
474
475 /** @param An arbitrary audio frame rate.
476  *  @return The appropriate DCP-approved frame rate (48kHz or 96kHz).
477  */
478 int
479 dcp_audio_frame_rate (int fs)
480 {
481         if (fs <= 48000) {
482                 return 48000;
483         }
484
485         return 96000;
486 }
487
488 Socket::Socket (int timeout)
489         : _deadline (_io_service)
490         , _socket (_io_service)
491         , _timeout (timeout)
492 {
493         _deadline.expires_at (boost::posix_time::pos_infin);
494         check ();
495 }
496
497 void
498 Socket::check ()
499 {
500         if (_deadline.expires_at() <= boost::asio::deadline_timer::traits_type::now ()) {
501                 _socket.close ();
502                 _deadline.expires_at (boost::posix_time::pos_infin);
503         }
504
505         _deadline.async_wait (boost::bind (&Socket::check, this));
506 }
507
508 /** Blocking connect.
509  *  @param endpoint End-point to connect to.
510  */
511 void
512 Socket::connect (boost::asio::ip::basic_resolver_entry<boost::asio::ip::tcp> const & endpoint)
513 {
514         _deadline.expires_from_now (boost::posix_time::seconds (_timeout));
515         boost::system::error_code ec = boost::asio::error::would_block;
516         _socket.async_connect (endpoint, boost::lambda::var(ec) = boost::lambda::_1);
517         do {
518                 _io_service.run_one();
519         } while (ec == boost::asio::error::would_block);
520
521         if (ec || !_socket.is_open ()) {
522                 throw NetworkError (_("connect timed out"));
523         }
524 }
525
526 /** Blocking write.
527  *  @param data Buffer to write.
528  *  @param size Number of bytes to write.
529  */
530 void
531 Socket::write (uint8_t const * data, int size)
532 {
533         _deadline.expires_from_now (boost::posix_time::seconds (_timeout));
534         boost::system::error_code ec = boost::asio::error::would_block;
535
536         boost::asio::async_write (_socket, boost::asio::buffer (data, size), boost::lambda::var(ec) = boost::lambda::_1);
537         
538         do {
539                 _io_service.run_one ();
540         } while (ec == boost::asio::error::would_block);
541
542         if (ec) {
543                 throw NetworkError (ec.message ());
544         }
545 }
546
547 void
548 Socket::write (uint32_t v)
549 {
550         v = htonl (v);
551         write (reinterpret_cast<uint8_t*> (&v), 4);
552 }
553
554 /** Blocking read.
555  *  @param data Buffer to read to.
556  *  @param size Number of bytes to read.
557  */
558 void
559 Socket::read (uint8_t* data, int size)
560 {
561         _deadline.expires_from_now (boost::posix_time::seconds (_timeout));
562         boost::system::error_code ec = boost::asio::error::would_block;
563
564         boost::asio::async_read (_socket, boost::asio::buffer (data, size), boost::lambda::var(ec) = boost::lambda::_1);
565
566         do {
567                 _io_service.run_one ();
568         } while (ec == boost::asio::error::would_block);
569         
570         if (ec) {
571                 throw NetworkError (ec.message ());
572         }
573 }
574
575 uint32_t
576 Socket::read_uint32 ()
577 {
578         uint32_t v;
579         read (reinterpret_cast<uint8_t *> (&v), 4);
580         return ntohl (v);
581 }
582
583 /** Round a number up to the nearest multiple of another number.
584  *  @param c Index.
585  *  @param s Array of numbers to round, indexed by c.
586  *  @param t Multiple to round to.
587  *  @return Rounded number.
588  */
589 int
590 stride_round_up (int c, int const * stride, int t)
591 {
592         int const a = stride[c] + (t - 1);
593         return a - (a % t);
594 }
595
596 /** Read a sequence of key / value pairs from a text stream;
597  *  the keys are the first words on the line, and the values are
598  *  the remainder of the line following the key.  Lines beginning
599  *  with # are ignored.
600  *  @param s Stream to read.
601  *  @return key/value pairs.
602  */
603 multimap<string, string>
604 read_key_value (istream &s) 
605 {
606         multimap<string, string> kv;
607         
608         string line;
609         while (getline (s, line)) {
610                 if (line.empty ()) {
611                         continue;
612                 }
613
614                 if (line[0] == '#') {
615                         continue;
616                 }
617
618                 if (line[line.size() - 1] == '\r') {
619                         line = line.substr (0, line.size() - 1);
620                 }
621
622                 size_t const s = line.find (' ');
623                 if (s == string::npos) {
624                         continue;
625                 }
626
627                 kv.insert (make_pair (line.substr (0, s), line.substr (s + 1)));
628         }
629
630         return kv;
631 }
632
633 string
634 get_required_string (multimap<string, string> const & kv, string k)
635 {
636         if (kv.count (k) > 1) {
637                 throw StringError (N_("unexpected multiple keys in key-value set"));
638         }
639
640         multimap<string, string>::const_iterator i = kv.find (k);
641         
642         if (i == kv.end ()) {
643                 throw StringError (String::compose (_("missing key %1 in key-value set"), k));
644         }
645
646         return i->second;
647 }
648
649 int
650 get_required_int (multimap<string, string> const & kv, string k)
651 {
652         string const v = get_required_string (kv, k);
653         return lexical_cast<int> (v);
654 }
655
656 float
657 get_required_float (multimap<string, string> const & kv, string k)
658 {
659         string const v = get_required_string (kv, k);
660         return lexical_cast<float> (v);
661 }
662
663 string
664 get_optional_string (multimap<string, string> const & kv, string k)
665 {
666         if (kv.count (k) > 1) {
667                 throw StringError (N_("unexpected multiple keys in key-value set"));
668         }
669
670         multimap<string, string>::const_iterator i = kv.find (k);
671         if (i == kv.end ()) {
672                 return N_("");
673         }
674
675         return i->second;
676 }
677
678 int
679 get_optional_int (multimap<string, string> const & kv, string k)
680 {
681         if (kv.count (k) > 1) {
682                 throw StringError (N_("unexpected multiple keys in key-value set"));
683         }
684
685         multimap<string, string>::const_iterator i = kv.find (k);
686         if (i == kv.end ()) {
687                 return 0;
688         }
689
690         return lexical_cast<int> (i->second);
691 }
692
693 /** Trip an assert if the caller is not in the UI thread */
694 void
695 ensure_ui_thread ()
696 {
697         assert (boost::this_thread::get_id() == ui_thread);
698 }
699
700 /** @param v Content video frame.
701  *  @param audio_sample_rate Source audio sample rate.
702  *  @param frames_per_second Number of video frames per second.
703  *  @return Equivalent number of audio frames for `v'.
704  */
705 int64_t
706 video_frames_to_audio_frames (VideoContent::Frame v, float audio_sample_rate, float frames_per_second)
707 {
708         return ((int64_t) v * audio_sample_rate / frames_per_second);
709 }
710
711 string
712 audio_channel_name (int c)
713 {
714         assert (MAX_AUDIO_CHANNELS == 6);
715
716         /* TRANSLATORS: these are the names of audio channels; Lfe (sub) is the low-frequency
717            enhancement channel (sub-woofer)./
718         */
719         string const channels[] = {
720                 _("Left"),
721                 _("Right"),
722                 _("Centre"),
723                 _("Lfe (sub)"),
724                 _("Left surround"),
725                 _("Right surround"),
726         };
727
728         return channels[c];
729 }
730
731 FrameRateConversion::FrameRateConversion (float source, int dcp)
732         : skip (false)
733         , repeat (false)
734         , change_speed (false)
735 {
736         if (fabs (source / 2.0 - dcp) < (fabs (source - dcp))) {
737                 skip = true;
738         } else if (fabs (source * 2 - dcp) < fabs (source - dcp)) {
739                 repeat = true;
740         }
741
742         change_speed = !about_equal (source * factor(), dcp);
743
744         if (!skip && !repeat && !change_speed) {
745                 description = _("Content and DCP have the same rate.\n");
746         } else {
747                 if (skip) {
748                         description = _("DCP will use every other frame of the content.\n");
749                 } else if (repeat) {
750                         description = _("Each content frame will be doubled in the DCP.\n");
751                 }
752
753                 if (change_speed) {
754                         float const pc = dcp * 100 / (source * factor());
755                         description += String::compose (_("DCP will run at %1%% of the content speed.\n"), pc);
756                 }
757         }
758 }
759
760 LocaleGuard::LocaleGuard ()
761         : _old (0)
762 {
763         char const * old = setlocale (LC_NUMERIC, 0);
764
765         if (old) {
766                 _old = strdup (old);
767                 if (strcmp (_old, "C")) {
768                         setlocale (LC_NUMERIC, "C");
769                 }
770         }
771 }
772
773 LocaleGuard::~LocaleGuard ()
774 {
775         setlocale (LC_NUMERIC, _old);
776         free (_old);
777 }