Various little tweaks.
[dcpomatic.git] / src / lib / util.cc
1 /*
2     Copyright (C) 2012 Carl Hetherington <cth@carlh.net>
3     Copyright (C) 2000-2007 Paul Davis
4
5     This program is free software; you can redistribute it and/or modify
6     it under the terms of the GNU General Public License as published by
7     the Free Software Foundation; either version 2 of the License, or
8     (at your option) any later version.
9
10     This program is distributed in the hope that it will be useful,
11     but WITHOUT ANY WARRANTY; without even the implied warranty of
12     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13     GNU General Public License for more details.
14
15     You should have received a copy of the GNU General Public License
16     along with this program; if not, write to the Free Software
17     Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
18
19 */
20
21 /** @file src/lib/util.cc
22  *  @brief Some utility functions and classes.
23  */
24
25 #include <sstream>
26 #include <iomanip>
27 #include <iostream>
28 #include <fstream>
29 #include <climits>
30 #ifdef DCPOMATIC_POSIX
31 #include <execinfo.h>
32 #include <cxxabi.h>
33 #endif
34 #include <libssh/libssh.h>
35 #include <signal.h>
36 #include <boost/algorithm/string.hpp>
37 #include <boost/bind.hpp>
38 #include <boost/lambda/lambda.hpp>
39 #include <boost/lexical_cast.hpp>
40 #include <boost/thread.hpp>
41 #include <boost/filesystem.hpp>
42 #include <openjpeg.h>
43 #include <openssl/md5.h>
44 #include <magick/MagickCore.h>
45 #include <magick/version.h>
46 #include <libdcp/version.h>
47 extern "C" {
48 #include <libavcodec/avcodec.h>
49 #include <libavformat/avformat.h>
50 #include <libswscale/swscale.h>
51 #include <libavfilter/avfiltergraph.h>
52 #include <libpostproc/postprocess.h>
53 #include <libavutil/pixfmt.h>
54 }
55 #include "util.h"
56 #include "exceptions.h"
57 #include "scaler.h"
58 #include "format.h"
59 #include "dcp_content_type.h"
60 #include "filter.h"
61 #include "sound_processor.h"
62 #include "config.h"
63
64 #include "i18n.h"
65
66 using std::string;
67 using std::stringstream;
68 using std::setfill;
69 using std::ostream;
70 using std::endl;
71 using std::vector;
72 using std::hex;
73 using std::setw;
74 using std::ifstream;
75 using std::ios;
76 using std::min;
77 using std::max;
78 using std::list;
79 using std::multimap;
80 using std::istream;
81 using std::numeric_limits;
82 using std::pair;
83 using boost::shared_ptr;
84 using boost::thread;
85 using boost::lexical_cast;
86 using boost::optional;
87 using libdcp::Size;
88
89 boost::thread::id ui_thread;
90
91 /** Convert some number of seconds to a string representation
92  *  in hours, minutes and seconds.
93  *
94  *  @param s Seconds.
95  *  @return String of the form H:M:S (where H is hours, M
96  *  is minutes and S is seconds).
97  */
98 string
99 seconds_to_hms (int s)
100 {
101         int m = s / 60;
102         s -= (m * 60);
103         int h = m / 60;
104         m -= (h * 60);
105
106         stringstream hms;
107         hms << h << N_(":");
108         hms.width (2);
109         hms << std::setfill ('0') << m << N_(":");
110         hms.width (2);
111         hms << std::setfill ('0') << s;
112
113         return hms.str ();
114 }
115
116 string
117 time_to_hms (Time t)
118 {
119         return seconds_to_hms (t / TIME_HZ);
120 }
121
122 /** @param s Number of seconds.
123  *  @return String containing an approximate description of s (e.g. "about 2 hours")
124  */
125 string
126 seconds_to_approximate_hms (int s)
127 {
128         int m = s / 60;
129         s -= (m * 60);
130         int h = m / 60;
131         m -= (h * 60);
132
133         stringstream ap;
134         
135         if (h > 0) {
136                 if (m > 30) {
137                         ap << (h + 1) << N_(" ") << _("hours");
138                 } else {
139                         if (h == 1) {
140                                 ap << N_("1 ") << _("hour");
141                         } else {
142                                 ap << h << N_(" ") << _("hours");
143                         }
144                 }
145         } else if (m > 0) {
146                 if (m == 1) {
147                         ap << N_("1 ") << _("minute");
148                 } else {
149                         ap << m << N_(" ") << _("minutes");
150                 }
151         } else {
152                 ap << s << N_(" ") << _("seconds");
153         }
154
155         return ap.str ();
156 }
157
158 #ifdef DCPOMATIC_POSIX
159 /** @param l Mangled C++ identifier.
160  *  @return Demangled version.
161  */
162 static string
163 demangle (string l)
164 {
165         string::size_type const b = l.find_first_of (N_("("));
166         if (b == string::npos) {
167                 return l;
168         }
169
170         string::size_type const p = l.find_last_of (N_("+"));
171         if (p == string::npos) {
172                 return l;
173         }
174
175         if ((p - b) <= 1) {
176                 return l;
177         }
178         
179         string const fn = l.substr (b + 1, p - b - 1);
180
181         int status;
182         try {
183                 
184                 char* realname = abi::__cxa_demangle (fn.c_str(), 0, 0, &status);
185                 string d (realname);
186                 free (realname);
187                 return d;
188                 
189         } catch (std::exception) {
190                 
191         }
192         
193         return l;
194 }
195
196 /** Write a stacktrace to an ostream.
197  *  @param out Stream to write to.
198  *  @param levels Number of levels to go up the call stack.
199  */
200 void
201 stacktrace (ostream& out, int levels)
202 {
203         void *array[200];
204         size_t size;
205         char **strings;
206         size_t i;
207      
208         size = backtrace (array, 200);
209         strings = backtrace_symbols (array, size);
210      
211         if (strings) {
212                 for (i = 0; i < size && (levels == 0 || i < size_t(levels)); i++) {
213                         out << N_("  ") << demangle (strings[i]) << "\n";
214                 }
215                 
216                 free (strings);
217         }
218 }
219 #endif
220
221 /** @param v Version as used by FFmpeg.
222  *  @return A string representation of v.
223  */
224 static string
225 ffmpeg_version_to_string (int v)
226 {
227         stringstream s;
228         s << ((v & 0xff0000) >> 16) << N_(".") << ((v & 0xff00) >> 8) << N_(".") << (v & 0xff);
229         return s.str ();
230 }
231
232 /** Return a user-readable string summarising the versions of our dependencies */
233 string
234 dependency_version_summary ()
235 {
236         stringstream s;
237         s << N_("libopenjpeg ") << opj_version () << N_(", ")
238           << N_("libavcodec ") << ffmpeg_version_to_string (avcodec_version()) << N_(", ")
239           << N_("libavfilter ") << ffmpeg_version_to_string (avfilter_version()) << N_(", ")
240           << N_("libavformat ") << ffmpeg_version_to_string (avformat_version()) << N_(", ")
241           << N_("libavutil ") << ffmpeg_version_to_string (avutil_version()) << N_(", ")
242           << N_("libpostproc ") << ffmpeg_version_to_string (postproc_version()) << N_(", ")
243           << N_("libswscale ") << ffmpeg_version_to_string (swscale_version()) << N_(", ")
244           << MagickVersion << N_(", ")
245           << N_("libssh ") << ssh_version (0) << N_(", ")
246           << N_("libdcp ") << libdcp::version << N_(" git ") << libdcp::git_commit;
247
248         return s.str ();
249 }
250
251 double
252 seconds (struct timeval t)
253 {
254         return t.tv_sec + (double (t.tv_usec) / 1e6);
255 }
256
257 /** Call the required functions to set up DCP-o-matic's static arrays, etc.
258  *  Must be called from the UI thread, if there is one.
259  */
260 void
261 dcpomatic_setup ()
262 {
263         avfilter_register_all ();
264         
265         Format::setup_formats ();
266         DCPContentType::setup_dcp_content_types ();
267         Scaler::setup_scalers ();
268         Filter::setup_filters ();
269         SoundProcessor::setup_sound_processors ();
270
271         ui_thread = boost::this_thread::get_id ();
272 }
273
274 #ifdef DCPOMATIC_WINDOWS
275 boost::filesystem::path
276 mo_path ()
277 {
278         wchar_t buffer[512];
279         GetModuleFileName (0, buffer, 512 * sizeof(wchar_t));
280         boost::filesystem::path p (buffer);
281         p = p.parent_path ();
282         p = p.parent_path ();
283         p /= "locale";
284         return p;
285 }
286 #endif
287
288 void
289 dcpomatic_setup_gettext_i18n (string lang)
290 {
291 #ifdef DCPOMATIC_POSIX
292         lang += ".UTF8";
293 #endif
294
295         if (!lang.empty ()) {
296                 /* Override our environment language; this is essential on
297                    Windows.
298                 */
299                 char cmd[64];
300                 snprintf (cmd, sizeof(cmd), "LANGUAGE=%s", lang.c_str ());
301                 putenv (cmd);
302                 snprintf (cmd, sizeof(cmd), "LANG=%s", lang.c_str ());
303                 putenv (cmd);
304         }
305
306         setlocale (LC_ALL, "");
307         textdomain ("libdcpomatic");
308
309 #ifdef DCPOMATIC_WINDOWS
310         bindtextdomain ("libdcpomatic", mo_path().string().c_str());
311         bind_textdomain_codeset ("libdcpomatic", "UTF8");
312 #endif  
313
314 #ifdef DCPOMATIC_POSIX
315         bindtextdomain ("libdcpomatic", POSIX_LOCALE_PREFIX);
316 #endif
317 }
318
319 /** @param start Start position for the crop within the image.
320  *  @param size Size of the cropped area.
321  *  @return FFmpeg crop filter string.
322  */
323 string
324 crop_string (Position start, libdcp::Size size)
325 {
326         stringstream s;
327         s << N_("crop=") << size.width << N_(":") << size.height << N_(":") << start.x << N_(":") << start.y;
328         return s.str ();
329 }
330
331 /** @param s A string.
332  *  @return Parts of the string split at spaces, except when a space is within quotation marks.
333  */
334 vector<string>
335 split_at_spaces_considering_quotes (string s)
336 {
337         vector<string> out;
338         bool in_quotes = false;
339         string c;
340         for (string::size_type i = 0; i < s.length(); ++i) {
341                 if (s[i] == ' ' && !in_quotes) {
342                         out.push_back (c);
343                         c = N_("");
344                 } else if (s[i] == '"') {
345                         in_quotes = !in_quotes;
346                 } else {
347                         c += s[i];
348                 }
349         }
350
351         out.push_back (c);
352         return out;
353 }
354
355 string
356 md5_digest (void const * data, int size)
357 {
358         MD5_CTX md5_context;
359         MD5_Init (&md5_context);
360         MD5_Update (&md5_context, data, size);
361         unsigned char digest[MD5_DIGEST_LENGTH];
362         MD5_Final (digest, &md5_context);
363         
364         stringstream s;
365         for (int i = 0; i < MD5_DIGEST_LENGTH; ++i) {
366                 s << std::hex << std::setfill('0') << std::setw(2) << ((int) digest[i]);
367         }
368
369         return s.str ();
370 }
371
372 /** @param file File name.
373  *  @return MD5 digest of file's contents.
374  */
375 string
376 md5_digest (boost::filesystem::path file)
377 {
378         ifstream f (file.string().c_str(), std::ios::binary);
379         if (!f.good ()) {
380                 throw OpenFileError (file.string());
381         }
382         
383         f.seekg (0, std::ios::end);
384         int bytes = f.tellg ();
385         f.seekg (0, std::ios::beg);
386
387         int const buffer_size = 64 * 1024;
388         char buffer[buffer_size];
389
390         MD5_CTX md5_context;
391         MD5_Init (&md5_context);
392         while (bytes > 0) {
393                 int const t = min (bytes, buffer_size);
394                 f.read (buffer, t);
395                 MD5_Update (&md5_context, buffer, t);
396                 bytes -= t;
397         }
398
399         unsigned char digest[MD5_DIGEST_LENGTH];
400         MD5_Final (digest, &md5_context);
401
402         stringstream s;
403         for (int i = 0; i < MD5_DIGEST_LENGTH; ++i) {
404                 s << std::hex << std::setfill('0') << std::setw(2) << ((int) digest[i]);
405         }
406
407         return s.str ();
408 }
409
410 static bool
411 about_equal (float a, float b)
412 {
413         /* A film of F seconds at f FPS will be Ff frames;
414            Consider some delta FPS d, so if we run the same
415            film at (f + d) FPS it will last F(f + d) seconds.
416
417            Hence the difference in length over the length of the film will
418            be F(f + d) - Ff frames
419             = Ff + Fd - Ff frames
420             = Fd frames
421             = Fd/f seconds
422  
423            So if we accept a difference of 1 frame, ie 1/f seconds, we can
424            say that
425
426            1/f = Fd/f
427         ie 1 = Fd
428         ie d = 1/F
429  
430            So for a 3hr film, ie F = 3 * 60 * 60 = 10800, the acceptable
431            FPS error is 1/F ~= 0.0001 ~= 10-e4
432         */
433
434         return (fabs (a - b) < 1e-4);
435 }
436
437 /** @param An arbitrary audio frame rate.
438  *  @return The appropriate DCP-approved frame rate (48kHz or 96kHz).
439  */
440 int
441 dcp_audio_frame_rate (int fs)
442 {
443         if (fs <= 48000) {
444                 return 48000;
445         }
446
447         return 96000;
448 }
449
450 /** @param index Colour LUT index.
451  *  @return Human-readable name.
452  */
453 string
454 colour_lut_index_to_name (int index)
455 {
456         switch (index) {
457         case 0:
458                 return _("sRGB");
459         case 1:
460                 return _("Rec 709");
461         }
462
463         assert (false);
464         return N_("");
465 }
466
467 Socket::Socket (int timeout)
468         : _deadline (_io_service)
469         , _socket (_io_service)
470         , _timeout (timeout)
471 {
472         _deadline.expires_at (boost::posix_time::pos_infin);
473         check ();
474 }
475
476 void
477 Socket::check ()
478 {
479         if (_deadline.expires_at() <= boost::asio::deadline_timer::traits_type::now ()) {
480                 _socket.close ();
481                 _deadline.expires_at (boost::posix_time::pos_infin);
482         }
483
484         _deadline.async_wait (boost::bind (&Socket::check, this));
485 }
486
487 /** Blocking connect.
488  *  @param endpoint End-point to connect to.
489  */
490 void
491 Socket::connect (boost::asio::ip::basic_resolver_entry<boost::asio::ip::tcp> const & endpoint)
492 {
493         _deadline.expires_from_now (boost::posix_time::seconds (_timeout));
494         boost::system::error_code ec = boost::asio::error::would_block;
495         _socket.async_connect (endpoint, boost::lambda::var(ec) = boost::lambda::_1);
496         do {
497                 _io_service.run_one();
498         } while (ec == boost::asio::error::would_block);
499
500         if (ec || !_socket.is_open ()) {
501                 throw NetworkError (_("connect timed out"));
502         }
503 }
504
505 /** Blocking write.
506  *  @param data Buffer to write.
507  *  @param size Number of bytes to write.
508  */
509 void
510 Socket::write (uint8_t const * data, int size)
511 {
512         _deadline.expires_from_now (boost::posix_time::seconds (_timeout));
513         boost::system::error_code ec = boost::asio::error::would_block;
514
515         boost::asio::async_write (_socket, boost::asio::buffer (data, size), boost::lambda::var(ec) = boost::lambda::_1);
516         
517         do {
518                 _io_service.run_one ();
519         } while (ec == boost::asio::error::would_block);
520
521         if (ec) {
522                 throw NetworkError (ec.message ());
523         }
524 }
525
526 void
527 Socket::write (uint32_t v)
528 {
529         v = htonl (v);
530         write (reinterpret_cast<uint8_t*> (&v), 4);
531 }
532
533 /** Blocking read.
534  *  @param data Buffer to read to.
535  *  @param size Number of bytes to read.
536  */
537 void
538 Socket::read (uint8_t* data, int size)
539 {
540         _deadline.expires_from_now (boost::posix_time::seconds (_timeout));
541         boost::system::error_code ec = boost::asio::error::would_block;
542
543         boost::asio::async_read (_socket, boost::asio::buffer (data, size), boost::lambda::var(ec) = boost::lambda::_1);
544
545         do {
546                 _io_service.run_one ();
547         } while (ec == boost::asio::error::would_block);
548         
549         if (ec) {
550                 throw NetworkError (ec.message ());
551         }
552 }
553
554 uint32_t
555 Socket::read_uint32 ()
556 {
557         uint32_t v;
558         read (reinterpret_cast<uint8_t *> (&v), 4);
559         return ntohl (v);
560 }
561
562 /** Round a number up to the nearest multiple of another number.
563  *  @param c Index.
564  *  @param s Array of numbers to round, indexed by c.
565  *  @param t Multiple to round to.
566  *  @return Rounded number.
567  */
568 int
569 stride_round_up (int c, int const * stride, int t)
570 {
571         int const a = stride[c] + (t - 1);
572         return a - (a % t);
573 }
574
575 int
576 stride_lookup (int c, int const * stride)
577 {
578         return stride[c];
579 }
580
581 /** Read a sequence of key / value pairs from a text stream;
582  *  the keys are the first words on the line, and the values are
583  *  the remainder of the line following the key.  Lines beginning
584  *  with # are ignored.
585  *  @param s Stream to read.
586  *  @return key/value pairs.
587  */
588 multimap<string, string>
589 read_key_value (istream &s) 
590 {
591         multimap<string, string> kv;
592         
593         string line;
594         while (getline (s, line)) {
595                 if (line.empty ()) {
596                         continue;
597                 }
598
599                 if (line[0] == '#') {
600                         continue;
601                 }
602
603                 if (line[line.size() - 1] == '\r') {
604                         line = line.substr (0, line.size() - 1);
605                 }
606
607                 size_t const s = line.find (' ');
608                 if (s == string::npos) {
609                         continue;
610                 }
611
612                 kv.insert (make_pair (line.substr (0, s), line.substr (s + 1)));
613         }
614
615         return kv;
616 }
617
618 string
619 get_required_string (multimap<string, string> const & kv, string k)
620 {
621         if (kv.count (k) > 1) {
622                 throw StringError (N_("unexpected multiple keys in key-value set"));
623         }
624
625         multimap<string, string>::const_iterator i = kv.find (k);
626         
627         if (i == kv.end ()) {
628                 throw StringError (String::compose (_("missing key %1 in key-value set"), k));
629         }
630
631         return i->second;
632 }
633
634 int
635 get_required_int (multimap<string, string> const & kv, string k)
636 {
637         string const v = get_required_string (kv, k);
638         return lexical_cast<int> (v);
639 }
640
641 float
642 get_required_float (multimap<string, string> const & kv, string k)
643 {
644         string const v = get_required_string (kv, k);
645         return lexical_cast<float> (v);
646 }
647
648 string
649 get_optional_string (multimap<string, string> const & kv, string k)
650 {
651         if (kv.count (k) > 1) {
652                 throw StringError (N_("unexpected multiple keys in key-value set"));
653         }
654
655         multimap<string, string>::const_iterator i = kv.find (k);
656         if (i == kv.end ()) {
657                 return N_("");
658         }
659
660         return i->second;
661 }
662
663 int
664 get_optional_int (multimap<string, string> const & kv, string k)
665 {
666         if (kv.count (k) > 1) {
667                 throw StringError (N_("unexpected multiple keys in key-value set"));
668         }
669
670         multimap<string, string>::const_iterator i = kv.find (k);
671         if (i == kv.end ()) {
672                 return 0;
673         }
674
675         return lexical_cast<int> (i->second);
676 }
677
678 /** Trip an assert if the caller is not in the UI thread */
679 void
680 ensure_ui_thread ()
681 {
682         assert (boost::this_thread::get_id() == ui_thread);
683 }
684
685 /** @param v Content video frame.
686  *  @param audio_sample_rate Source audio sample rate.
687  *  @param frames_per_second Number of video frames per second.
688  *  @return Equivalent number of audio frames for `v'.
689  */
690 int64_t
691 video_frames_to_audio_frames (ContentVideoFrame v, float audio_sample_rate, float frames_per_second)
692 {
693         return ((int64_t) v * audio_sample_rate / frames_per_second);
694 }
695
696 /** @return A pair containing CPU model name and the number of processors */
697 pair<string, int>
698 cpu_info ()
699 {
700         pair<string, int> info;
701         info.second = 0;
702         
703 #ifdef DCPOMATIC_POSIX
704         ifstream f (N_("/proc/cpuinfo"));
705         while (f.good ()) {
706                 string l;
707                 getline (f, l);
708                 if (boost::algorithm::starts_with (l, N_("model name"))) {
709                         string::size_type const c = l.find (':');
710                         if (c != string::npos) {
711                                 info.first = l.substr (c + 2);
712                         }
713                 } else if (boost::algorithm::starts_with (l, N_("processor"))) {
714                         ++info.second;
715                 }
716         }
717 #endif  
718
719         return info;
720 }
721
722 string
723 audio_channel_name (int c)
724 {
725         assert (MAX_AUDIO_CHANNELS == 6);
726
727         /* TRANSLATORS: these are the names of audio channels; Lfe (sub) is the low-frequency
728            enhancement channel (sub-woofer)./
729         */
730         string const channels[] = {
731                 _("Left"),
732                 _("Right"),
733                 _("Centre"),
734                 _("Lfe (sub)"),
735                 _("Left surround"),
736                 _("Right surround"),
737         };
738
739         return channels[c];
740 }
741
742 FrameRateConversion::FrameRateConversion (float source, int dcp)
743         : skip (false)
744         , repeat (false)
745         , change_speed (false)
746 {
747         if (fabs (source / 2.0 - dcp) < (fabs (source - dcp))) {
748                 skip = true;
749         } else if (fabs (source * 2 - dcp) < fabs (source - dcp)) {
750                 repeat = true;
751         }
752
753         change_speed = !about_equal (source * factor(), dcp);
754
755         if (!skip && !repeat && !change_speed) {
756                 description = _("DCP and source have the same rate.\n");
757         } else {
758                 if (skip) {
759                         description = _("DCP will use every other frame of the source.\n");
760                 } else if (repeat) {
761                         description = _("Each source frame will be doubled in the DCP.\n");
762                 }
763
764                 if (change_speed) {
765                         float const pc = dcp * 100 / (source * factor());
766                         description += String::compose (_("DCP will run at %1%% of the source speed.\n"), pc);
767                 }
768         }
769 }
770
771 LocaleGuard::LocaleGuard ()
772         : _old (0)
773 {
774         char const * old = setlocale (LC_NUMERIC, 0);
775
776         if (old) {
777                 _old = strdup (old);
778                 if (strcmp (_old, "POSIX")) {
779                         setlocale (LC_NUMERIC, "POSIX");
780                 }
781         }
782 }
783
784 LocaleGuard::~LocaleGuard ()
785 {
786         setlocale (LC_NUMERIC, _old);
787         free (_old);
788 }