Fix crash from previous commit; clear viewer image when its size changes (#12).
[dcpomatic.git] / src / lib / util.cc
1 /*
2     Copyright (C) 2012 Carl Hetherington <cth@carlh.net>
3     Copyright (C) 2000-2007 Paul Davis
4
5     This program is free software; you can redistribute it and/or modify
6     it under the terms of the GNU General Public License as published by
7     the Free Software Foundation; either version 2 of the License, or
8     (at your option) any later version.
9
10     This program is distributed in the hope that it will be useful,
11     but WITHOUT ANY WARRANTY; without even the implied warranty of
12     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13     GNU General Public License for more details.
14
15     You should have received a copy of the GNU General Public License
16     along with this program; if not, write to the Free Software
17     Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
18
19 */
20
21 /** @file src/lib/util.cc
22  *  @brief Some utility functions and classes.
23  */
24
25 #include <sstream>
26 #include <iomanip>
27 #include <iostream>
28 #include <fstream>
29 #ifdef DVDOMATIC_POSIX
30 #include <execinfo.h>
31 #include <cxxabi.h>
32 #endif
33 #include <libssh/libssh.h>
34 #include <signal.h>
35 #include <boost/algorithm/string.hpp>
36 #include <boost/bind.hpp>
37 #include <boost/lambda/lambda.hpp>
38 #include <boost/lexical_cast.hpp>
39 #include <boost/thread.hpp>
40 #include <boost/filesystem.hpp>
41 #include <openjpeg.h>
42 #include <openssl/md5.h>
43 #include <magick/MagickCore.h>
44 #include <magick/version.h>
45 #include <libdcp/version.h>
46 extern "C" {
47 #include <libavcodec/avcodec.h>
48 #include <libavformat/avformat.h>
49 #include <libswscale/swscale.h>
50 #include <libavfilter/avfiltergraph.h>
51 #include <libpostproc/postprocess.h>
52 #include <libavutil/pixfmt.h>
53 }
54 #include "util.h"
55 #include "exceptions.h"
56 #include "scaler.h"
57 #include "format.h"
58 #include "dcp_content_type.h"
59 #include "filter.h"
60 #include "sound_processor.h"
61
62 using namespace std;
63 using namespace boost;
64
65 thread::id ui_thread;
66
67 /** Convert some number of seconds to a string representation
68  *  in hours, minutes and seconds.
69  *
70  *  @param s Seconds.
71  *  @return String of the form H:M:S (where H is hours, M
72  *  is minutes and S is seconds).
73  */
74 string
75 seconds_to_hms (int s)
76 {
77         int m = s / 60;
78         s -= (m * 60);
79         int h = m / 60;
80         m -= (h * 60);
81
82         stringstream hms;
83         hms << h << ":";
84         hms.width (2);
85         hms << setfill ('0') << m << ":";
86         hms.width (2);
87         hms << setfill ('0') << s;
88
89         return hms.str ();
90 }
91
92 /** @param s Number of seconds.
93  *  @return String containing an approximate description of s (e.g. "about 2 hours")
94  */
95 string
96 seconds_to_approximate_hms (int s)
97 {
98         int m = s / 60;
99         s -= (m * 60);
100         int h = m / 60;
101         m -= (h * 60);
102
103         stringstream ap;
104         
105         if (h > 0) {
106                 if (m > 30) {
107                         ap << (h + 1) << " hours";
108                 } else {
109                         if (h == 1) {
110                                 ap << "1 hour";
111                         } else {
112                                 ap << h << " hours";
113                         }
114                 }
115         } else if (m > 0) {
116                 if (m == 1) {
117                         ap << "1 minute";
118                 } else {
119                         ap << m << " minutes";
120                 }
121         } else {
122                 ap << s << " seconds";
123         }
124
125         return ap.str ();
126 }
127
128 #ifdef DVDOMATIC_POSIX
129 /** @param l Mangled C++ identifier.
130  *  @return Demangled version.
131  */
132 static string
133 demangle (string l)
134 {
135         string::size_type const b = l.find_first_of ("(");
136         if (b == string::npos) {
137                 return l;
138         }
139
140         string::size_type const p = l.find_last_of ("+");
141         if (p == string::npos) {
142                 return l;
143         }
144
145         if ((p - b) <= 1) {
146                 return l;
147         }
148         
149         string const fn = l.substr (b + 1, p - b - 1);
150
151         int status;
152         try {
153                 
154                 char* realname = abi::__cxa_demangle (fn.c_str(), 0, 0, &status);
155                 string d (realname);
156                 free (realname);
157                 return d;
158                 
159         } catch (std::exception) {
160                 
161         }
162         
163         return l;
164 }
165
166 /** Write a stacktrace to an ostream.
167  *  @param out Stream to write to.
168  *  @param levels Number of levels to go up the call stack.
169  */
170 void
171 stacktrace (ostream& out, int levels)
172 {
173         void *array[200];
174         size_t size;
175         char **strings;
176         size_t i;
177      
178         size = backtrace (array, 200);
179         strings = backtrace_symbols (array, size);
180      
181         if (strings) {
182                 for (i = 0; i < size && (levels == 0 || i < size_t(levels)); i++) {
183                         out << "  " << demangle (strings[i]) << endl;
184                 }
185                 
186                 free (strings);
187         }
188 }
189 #endif
190
191 /** @param v Version as used by FFmpeg.
192  *  @return A string representation of v.
193  */
194 static string
195 ffmpeg_version_to_string (int v)
196 {
197         stringstream s;
198         s << ((v & 0xff0000) >> 16) << "." << ((v & 0xff00) >> 8) << "." << (v & 0xff);
199         return s.str ();
200 }
201
202 /** Return a user-readable string summarising the versions of our dependencies */
203 string
204 dependency_version_summary ()
205 {
206         stringstream s;
207         s << "libopenjpeg " << opj_version () << ", "
208           << "libavcodec " << ffmpeg_version_to_string (avcodec_version()) << ", "
209           << "libavfilter " << ffmpeg_version_to_string (avfilter_version()) << ", "
210           << "libavformat " << ffmpeg_version_to_string (avformat_version()) << ", "
211           << "libavutil " << ffmpeg_version_to_string (avutil_version()) << ", "
212           << "libpostproc " << ffmpeg_version_to_string (postproc_version()) << ", "
213           << "libswscale " << ffmpeg_version_to_string (swscale_version()) << ", "
214           << MagickVersion << ", "
215           << "libssh " << ssh_version (0) << ", "
216           << "libdcp " << libdcp::version << " git " << libdcp::git_commit;
217
218         return s.str ();
219 }
220
221 double
222 seconds (struct timeval t)
223 {
224         return t.tv_sec + (double (t.tv_usec) / 1e6);
225 }
226
227 /** Call the required functions to set up DVD-o-matic's static arrays, etc.
228  *  Must be called from the UI thread, if there is one.
229  */
230 void
231 dvdomatic_setup ()
232 {
233         Format::setup_formats ();
234         DCPContentType::setup_dcp_content_types ();
235         Scaler::setup_scalers ();
236         Filter::setup_filters ();
237         SoundProcessor::setup_sound_processors ();
238
239         ui_thread = this_thread::get_id ();
240 }
241
242 /** @param start Start position for the crop within the image.
243  *  @param size Size of the cropped area.
244  *  @return FFmpeg crop filter string.
245  */
246 string
247 crop_string (Position start, Size size)
248 {
249         stringstream s;
250         s << "crop=" << size.width << ":" << size.height << ":" << start.x << ":" << start.y;
251         return s.str ();
252 }
253
254 /** @param s A string.
255  *  @return Parts of the string split at spaces, except when a space is within quotation marks.
256  */
257 vector<string>
258 split_at_spaces_considering_quotes (string s)
259 {
260         vector<string> out;
261         bool in_quotes = false;
262         string c;
263         for (string::size_type i = 0; i < s.length(); ++i) {
264                 if (s[i] == ' ' && !in_quotes) {
265                         out.push_back (c);
266                         c = "";
267                 } else if (s[i] == '"') {
268                         in_quotes = !in_quotes;
269                 } else {
270                         c += s[i];
271                 }
272         }
273
274         out.push_back (c);
275         return out;
276 }
277
278 string
279 md5_digest (void const * data, int size)
280 {
281         MD5_CTX md5_context;
282         MD5_Init (&md5_context);
283         MD5_Update (&md5_context, data, size);
284         unsigned char digest[MD5_DIGEST_LENGTH];
285         MD5_Final (digest, &md5_context);
286         
287         stringstream s;
288         for (int i = 0; i < MD5_DIGEST_LENGTH; ++i) {
289                 s << hex << setfill('0') << setw(2) << ((int) digest[i]);
290         }
291
292         return s.str ();
293 }
294
295 /** @param file File name.
296  *  @return MD5 digest of file's contents.
297  */
298 string
299 md5_digest (string file)
300 {
301         ifstream f (file.c_str(), ios::binary);
302         if (!f.good ()) {
303                 throw OpenFileError (file);
304         }
305         
306         f.seekg (0, ios::end);
307         int bytes = f.tellg ();
308         f.seekg (0, ios::beg);
309
310         int const buffer_size = 64 * 1024;
311         char buffer[buffer_size];
312
313         MD5_CTX md5_context;
314         MD5_Init (&md5_context);
315         while (bytes > 0) {
316                 int const t = min (bytes, buffer_size);
317                 f.read (buffer, t);
318                 MD5_Update (&md5_context, buffer, t);
319                 bytes -= t;
320         }
321
322         unsigned char digest[MD5_DIGEST_LENGTH];
323         MD5_Final (digest, &md5_context);
324
325         stringstream s;
326         for (int i = 0; i < MD5_DIGEST_LENGTH; ++i) {
327                 s << hex << setfill('0') << setw(2) << ((int) digest[i]);
328         }
329
330         return s.str ();
331 }
332
333 /** @param fps Arbitrary frames-per-second value.
334  *  @return DCPFrameRate for this frames-per-second.
335  */
336 DCPFrameRate
337 dcp_frame_rate (float fps)
338 {
339         DCPFrameRate dfr;
340
341         dfr.run_fast = (fps != rint (fps));
342         dfr.frames_per_second = rint (fps);
343         dfr.skip = 1;
344
345         /* XXX: somewhat arbitrary */
346         if (fps == 50) {
347                 dfr.frames_per_second = 25;
348                 dfr.skip = 2;
349         }
350
351         return dfr;
352 }
353
354 /** @param An arbitrary sampling rate.
355  *  @return The appropriate DCP-approved sampling rate (48kHz or 96kHz).
356  */
357 int
358 dcp_audio_sample_rate (int fs)
359 {
360         if (fs <= 48000) {
361                 return 48000;
362         }
363
364         return 96000;
365 }
366
367 bool operator== (Size const & a, Size const & b)
368 {
369         return (a.width == b.width && a.height == b.height);
370 }
371
372 bool operator!= (Size const & a, Size const & b)
373 {
374         return !(a == b);
375 }
376
377 bool operator== (Crop const & a, Crop const & b)
378 {
379         return (a.left == b.left && a.right == b.right && a.top == b.top && a.bottom == b.bottom);
380 }
381
382 bool operator!= (Crop const & a, Crop const & b)
383 {
384         return !(a == b);
385 }
386
387 /** @param index Colour LUT index.
388  *  @return Human-readable name.
389  */
390 string
391 colour_lut_index_to_name (int index)
392 {
393         switch (index) {
394         case 0:
395                 return "sRGB";
396         case 1:
397                 return "Rec 709";
398         }
399
400         assert (false);
401         return "";
402 }
403
404 Socket::Socket ()
405         : _deadline (_io_service)
406         , _socket (_io_service)
407         , _buffer_data (0)
408 {
409         _deadline.expires_at (posix_time::pos_infin);
410         check ();
411 }
412
413 void
414 Socket::check ()
415 {
416         if (_deadline.expires_at() <= asio::deadline_timer::traits_type::now ()) {
417                 _socket.close ();
418                 _deadline.expires_at (posix_time::pos_infin);
419         }
420
421         _deadline.async_wait (boost::bind (&Socket::check, this));
422 }
423
424 /** Blocking connect with timeout.
425  *  @param endpoint End-point to connect to.
426  *  @param timeout Time-out in seconds.
427  */
428 void
429 Socket::connect (asio::ip::basic_resolver_entry<asio::ip::tcp> const & endpoint, int timeout)
430 {
431         system::error_code ec = asio::error::would_block;
432         _socket.async_connect (endpoint, lambda::var(ec) = lambda::_1);
433         do {
434                 _io_service.run_one();
435         } while (ec == asio::error::would_block);
436
437         if (ec || !_socket.is_open ()) {
438                 throw NetworkError ("connect timed out");
439         }
440 }
441
442 /** Blocking write with timeout.
443  *  @param data Buffer to write.
444  *  @param size Number of bytes to write.
445  *  @param timeout Time-out, in seconds.
446  */
447 void
448 Socket::write (uint8_t const * data, int size, int timeout)
449 {
450         _deadline.expires_from_now (posix_time::seconds (timeout));
451         system::error_code ec = asio::error::would_block;
452
453         asio::async_write (_socket, asio::buffer (data, size), lambda::var(ec) = lambda::_1);
454         do {
455                 _io_service.run_one ();
456         } while (ec == asio::error::would_block);
457
458         if (ec) {
459                 throw NetworkError ("write timed out");
460         }
461 }
462
463 /** Blocking read with timeout.
464  *  @param data Buffer to read to.
465  *  @param size Number of bytes to read.
466  *  @param timeout Time-out, in seconds.
467  */
468 int
469 Socket::read (uint8_t* data, int size, int timeout)
470 {
471         _deadline.expires_from_now (posix_time::seconds (timeout));
472         system::error_code ec = asio::error::would_block;
473
474         int amount_read = 0;
475
476         _socket.async_read_some (
477                 asio::buffer (data, size),
478                 (lambda::var(ec) = lambda::_1, lambda::var(amount_read) = lambda::_2)
479                 );
480
481         do {
482                 _io_service.run_one ();
483         } while (ec == asio::error::would_block);
484         
485         if (ec) {
486                 amount_read = 0;
487         }
488
489         return amount_read;
490 }
491
492 /** Mark some data as being `consumed', so that it will not be returned
493  *  as data again.
494  *  @param size Amount of data to consume, in bytes.
495  */
496 void
497 Socket::consume (int size)
498 {
499         assert (_buffer_data >= size);
500         
501         _buffer_data -= size;
502         if (_buffer_data > 0) {
503                 /* Shift still-valid data to the start of the buffer */
504                 memmove (_buffer, _buffer + size, _buffer_data);
505         }
506 }
507
508 /** Read a definite amount of data from our socket, and mark
509  *  it as consumed.
510  *  @param data Where to put the data.
511  *  @param size Number of bytes to read.
512  */
513 void
514 Socket::read_definite_and_consume (uint8_t* data, int size, int timeout)
515 {
516         int const from_buffer = min (_buffer_data, size);
517         if (from_buffer > 0) {
518                 /* Get data from our buffer */
519                 memcpy (data, _buffer, from_buffer);
520                 consume (from_buffer);
521                 /* Update our output state */
522                 data += from_buffer;
523                 size -= from_buffer;
524         }
525
526         /* read() the rest */
527         while (size > 0) {
528                 int const n = read (data, size, timeout);
529                 if (n <= 0) {
530                         throw NetworkError ("could not read");
531                 }
532
533                 data += n;
534                 size -= n;
535         }
536 }
537
538 /** Read as much data as is available, up to some limit.
539  *  @param data Where to put the data.
540  *  @param size Maximum amount of data to read.
541  */
542 void
543 Socket::read_indefinite (uint8_t* data, int size, int timeout)
544 {
545         assert (size < int (sizeof (_buffer)));
546
547         /* Amount of extra data we need to read () */
548         int to_read = size - _buffer_data;
549         while (to_read > 0) {
550                 /* read as much of it as we can (into our buffer) */
551                 int const n = read (_buffer + _buffer_data, to_read, timeout);
552                 if (n <= 0) {
553                         throw NetworkError ("could not read");
554                 }
555
556                 to_read -= n;
557                 _buffer_data += n;
558         }
559
560         assert (_buffer_data >= size);
561
562         /* copy data into the output buffer */
563         assert (size >= _buffer_data);
564         memcpy (data, _buffer, size);
565 }
566
567 /** @param other A Rect.
568  *  @return The intersection of this with `other'.
569  */
570 Rect
571 Rect::intersection (Rect const & other) const
572 {
573         int const tx = max (x, other.x);
574         int const ty = max (y, other.y);
575         
576         return Rect (
577                 tx, ty,
578                 min (x + width, other.x + other.width) - tx,
579                 min (y + height, other.y + other.height) - ty
580                 );
581 }
582
583 /** Round a number up to the nearest multiple of another number.
584  *  @param c Index.
585  *  @param s Array of numbers to round, indexed by c.
586  *  @param t Multiple to round to.
587  *  @return Rounded number.
588  */
589 int
590 stride_round_up (int c, int const * stride, int t)
591 {
592         int const a = stride[c] + (t - 1);
593         return a - (a % t);
594 }
595
596 int
597 stride_lookup (int c, int const * stride)
598 {
599         return stride[c];
600 }
601
602 /** Read a sequence of key / value pairs from a text stream;
603  *  the keys are the first words on the line, and the values are
604  *  the remainder of the line following the key.  Lines beginning
605  *  with # are ignored.
606  *  @param s Stream to read.
607  *  @return key/value pairs.
608  */
609 multimap<string, string>
610 read_key_value (istream &s) 
611 {
612         multimap<string, string> kv;
613         
614         string line;
615         while (getline (s, line)) {
616                 if (line.empty ()) {
617                         continue;
618                 }
619
620                 if (line[0] == '#') {
621                         continue;
622                 }
623
624                 if (line[line.size() - 1] == '\r') {
625                         line = line.substr (0, line.size() - 1);
626                 }
627
628                 size_t const s = line.find (' ');
629                 if (s == string::npos) {
630                         continue;
631                 }
632
633                 kv.insert (make_pair (line.substr (0, s), line.substr (s + 1)));
634         }
635
636         return kv;
637 }
638
639 string
640 get_required_string (multimap<string, string> const & kv, string k)
641 {
642         if (kv.count (k) > 1) {
643                 throw StringError ("unexpected multiple keys in key-value set");
644         }
645
646         multimap<string, string>::const_iterator i = kv.find (k);
647         
648         if (i == kv.end ()) {
649                 throw StringError (String::compose ("missing key %1 in key-value set", k));
650         }
651
652         return i->second;
653 }
654
655 int
656 get_required_int (multimap<string, string> const & kv, string k)
657 {
658         string const v = get_required_string (kv, k);
659         return lexical_cast<int> (v);
660 }
661
662 float
663 get_required_float (multimap<string, string> const & kv, string k)
664 {
665         string const v = get_required_string (kv, k);
666         return lexical_cast<float> (v);
667 }
668
669 string
670 get_optional_string (multimap<string, string> const & kv, string k)
671 {
672         if (kv.count (k) > 1) {
673                 throw StringError ("unexpected multiple keys in key-value set");
674         }
675
676         multimap<string, string>::const_iterator i = kv.find (k);
677         if (i == kv.end ()) {
678                 return "";
679         }
680
681         return i->second;
682 }
683
684 int
685 get_optional_int (multimap<string, string> const & kv, string k)
686 {
687         if (kv.count (k) > 1) {
688                 throw StringError ("unexpected multiple keys in key-value set");
689         }
690
691         multimap<string, string>::const_iterator i = kv.find (k);
692         if (i == kv.end ()) {
693                 return 0;
694         }
695
696         return lexical_cast<int> (i->second);
697 }
698
699 /** Construct an AudioBuffers.  Audio data is undefined after this constructor.
700  *  @param channels Number of channels.
701  *  @param frames Number of frames to reserve space for.
702  */
703 AudioBuffers::AudioBuffers (int channels, int frames)
704         : _channels (channels)
705         , _frames (frames)
706         , _allocated_frames (frames)
707 {
708         _data = new float*[_channels];
709         for (int i = 0; i < _channels; ++i) {
710                 _data[i] = new float[frames];
711         }
712 }
713
714 /** Copy constructor.
715  *  @param other Other AudioBuffers; data is copied.
716  */
717 AudioBuffers::AudioBuffers (AudioBuffers const & other)
718         : _channels (other._channels)
719         , _frames (other._frames)
720         , _allocated_frames (other._frames)
721 {
722         _data = new float*[_channels];
723         for (int i = 0; i < _channels; ++i) {
724                 _data[i] = new float[_frames];
725                 memcpy (_data[i], other._data[i], _frames * sizeof (float));
726         }
727 }
728
729 /** AudioBuffers destructor */
730 AudioBuffers::~AudioBuffers ()
731 {
732         for (int i = 0; i < _channels; ++i) {
733                 delete[] _data[i];
734         }
735
736         delete[] _data;
737 }
738
739 /** @param c Channel index.
740  *  @return Buffer for this channel.
741  */
742 float*
743 AudioBuffers::data (int c) const
744 {
745         assert (c >= 0 && c < _channels);
746         return _data[c];
747 }
748
749 /** Set the number of frames that these AudioBuffers will report themselves
750  *  as having.
751  *  @param f Frames; must be less than or equal to the number of allocated frames.
752  */
753 void
754 AudioBuffers::set_frames (int f)
755 {
756         assert (f <= _allocated_frames);
757         _frames = f;
758 }
759
760 /** Make all samples on all channels silent */
761 void
762 AudioBuffers::make_silent ()
763 {
764         for (int i = 0; i < _channels; ++i) {
765                 make_silent (i);
766         }
767 }
768
769 /** Make all samples on a given channel silent.
770  *  @param c Channel.
771  */
772 void
773 AudioBuffers::make_silent (int c)
774 {
775         assert (c >= 0 && c < _channels);
776         
777         for (int i = 0; i < _frames; ++i) {
778                 _data[c][i] = 0;
779         }
780 }
781
782 /** Copy data from another AudioBuffers to this one.  All channels are copied.
783  *  @param from AudioBuffers to copy from; must have the same number of channels as this.
784  *  @param frames_to_copy Number of frames to copy.
785  *  @param read_offset Offset to read from in `from'.
786  *  @param write_offset Offset to write to in `to'.
787  */
788 void
789 AudioBuffers::copy_from (AudioBuffers* from, int frames_to_copy, int read_offset, int write_offset)
790 {
791         assert (from->channels() == channels());
792
793         assert (from);
794         assert (read_offset >= 0 && (read_offset + frames_to_copy) <= from->_allocated_frames);
795         assert (write_offset >= 0 && (write_offset + frames_to_copy) <= _allocated_frames);
796
797         for (int i = 0; i < _channels; ++i) {
798                 memcpy (_data[i] + write_offset, from->_data[i] + read_offset, frames_to_copy * sizeof(float));
799         }
800 }
801
802 /** Move audio data around.
803  *  @param from Offset to move from.
804  *  @param to Offset to move to.
805  *  @param frames Number of frames to move.
806  */
807     
808 void
809 AudioBuffers::move (int from, int to, int frames)
810 {
811         if (frames == 0) {
812                 return;
813         }
814         
815         assert (from >= 0);
816         assert (from < _frames);
817         assert (to >= 0);
818         assert (to < _frames);
819         assert (frames > 0);
820         assert (frames <= _frames);
821         assert ((from + frames) <= _frames);
822         assert ((to + frames) <= _frames);
823         
824         for (int i = 0; i < _channels; ++i) {
825                 memmove (_data[i] + to, _data[i] + from, frames * sizeof(float));
826         }
827 }
828
829 /** Trip an assert if the caller is not in the UI thread */
830 void
831 ensure_ui_thread ()
832 {
833         assert (this_thread::get_id() == ui_thread);
834 }
835
836 /** @param v Source video frame.
837  *  @param audio_sample_rate Source audio sample rate.
838  *  @param frames_per_second Number of video frames per second.
839  *  @return Equivalent number of audio frames for `v'.
840  */
841 int64_t
842 video_frames_to_audio_frames (SourceFrame v, float audio_sample_rate, float frames_per_second)
843 {
844         return ((int64_t) v * audio_sample_rate / frames_per_second);
845 }
846
847 /** @param f Filename.
848  *  @return true if this file is a still image, false if it is something else.
849  */
850 bool
851 still_image_file (string f)
852 {
853 #if BOOST_FILESYSTEM_VERSION == 3
854         string ext = boost::filesystem::path(f).extension().string();
855 #else
856         string ext = boost::filesystem::path(f).extension();
857 #endif
858
859         transform (ext.begin(), ext.end(), ext.begin(), ::tolower);
860         
861         return (ext == ".tif" || ext == ".tiff" || ext == ".jpg" || ext == ".jpeg" || ext == ".png");
862 }