Fix fopen() on windows to cope with long filenames (part of #1755).
[dcpomatic.git] / src / lib / cross_windows.cc
1 /*
2     Copyright (C) 2012-2021 Carl Hetherington <cth@carlh.net>
3
4     This file is part of DCP-o-matic.
5
6     DCP-o-matic is free software; you can redistribute it and/or modify
7     it under the terms of the GNU General Public License as published by
8     the Free Software Foundation; either version 2 of the License, or
9     (at your option) any later version.
10
11     DCP-o-matic is distributed in the hope that it will be useful,
12     but WITHOUT ANY WARRANTY; without even the implied warranty of
13     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14     GNU General Public License for more details.
15
16     You should have received a copy of the GNU General Public License
17     along with DCP-o-matic.  If not, see <http://www.gnu.org/licenses/>.
18
19 */
20
21
22 #include "cross.h"
23 #include "compose.hpp"
24 #include "log.h"
25 #include "dcpomatic_log.h"
26 #include "config.h"
27 #include "exceptions.h"
28 #include "dcpomatic_assert.h"
29 #include "util.h"
30 #include <dcp/raw_convert.h>
31 #include <glib.h>
32 extern "C" {
33 #include <libavformat/avio.h>
34 }
35 #include <boost/algorithm/string.hpp>
36 #include <boost/dll/runtime_symbol_info.hpp>
37 #include <windows.h>
38 #include <winternl.h>
39 #include <winioctl.h>
40 #include <ntdddisk.h>
41 #include <setupapi.h>
42 #include <fileapi.h>
43 #undef DATADIR
44 #include <shlwapi.h>
45 #include <shellapi.h>
46 #include <fcntl.h>
47 #include <fstream>
48 #include <map>
49
50 #include "i18n.h"
51
52
53 using std::pair;
54 using std::cerr;
55 using std::cout;
56 using std::ifstream;
57 using std::list;
58 using std::make_pair;
59 using std::map;
60 using std::runtime_error;
61 using std::shared_ptr;
62 using std::string;
63 using std::vector;
64 using std::wstring;
65 using boost::optional;
66
67
68 static std::vector<pair<HANDLE, string>> locked_volumes;
69
70
71 /** @param s Number of seconds to sleep for */
72 void
73 dcpomatic_sleep_seconds (int s)
74 {
75         Sleep (s * 1000);
76 }
77
78
79 void
80 dcpomatic_sleep_milliseconds (int ms)
81 {
82         Sleep (ms);
83 }
84
85
86 /** @return A string of CPU information (model name etc.) */
87 string
88 cpu_info ()
89 {
90         string info;
91
92         HKEY key;
93         if (RegOpenKeyEx (HKEY_LOCAL_MACHINE, L"HARDWARE\\DESCRIPTION\\System\\CentralProcessor\\0", 0, KEY_READ, &key) != ERROR_SUCCESS) {
94                 return info;
95         }
96
97         DWORD type;
98         DWORD data;
99         if (RegQueryValueEx (key, L"ProcessorNameString", 0, &type, 0, &data) != ERROR_SUCCESS) {
100                 return info;
101         }
102
103         if (type != REG_SZ) {
104                 return info;
105         }
106
107         wstring value (data / sizeof (wchar_t), L'\0');
108         if (RegQueryValueEx (key, L"ProcessorNameString", 0, 0, reinterpret_cast<LPBYTE> (&value[0]), &data) != ERROR_SUCCESS) {
109                 RegCloseKey (key);
110                 return info;
111         }
112
113         info = string (value.begin(), value.end());
114
115         RegCloseKey (key);
116
117         return info;
118 }
119
120
121 void
122 run_ffprobe (boost::filesystem::path content, boost::filesystem::path out)
123 {
124         SECURITY_ATTRIBUTES security;
125         security.nLength = sizeof (security);
126         security.bInheritHandle = TRUE;
127         security.lpSecurityDescriptor = 0;
128
129         HANDLE child_stderr_read;
130         HANDLE child_stderr_write;
131         if (!CreatePipe (&child_stderr_read, &child_stderr_write, &security, 0)) {
132                 LOG_ERROR_NC ("ffprobe call failed (could not CreatePipe)");
133                 return;
134         }
135
136         wchar_t dir[512];
137         MultiByteToWideChar (CP_UTF8, 0, directory_containing_executable().string().c_str(), -1, dir, sizeof(dir));
138
139         STARTUPINFO startup_info;
140         ZeroMemory (&startup_info, sizeof (startup_info));
141         startup_info.cb = sizeof (startup_info);
142         startup_info.hStdError = child_stderr_write;
143         startup_info.dwFlags |= STARTF_USESTDHANDLES;
144
145         wchar_t command[512];
146         wcscpy (command, L"ffprobe.exe \"");
147
148         wchar_t file[512];
149         MultiByteToWideChar (CP_UTF8, 0, content.string().c_str(), -1, file, sizeof(file));
150         wcscat (command, file);
151
152         wcscat (command, L"\"");
153
154         PROCESS_INFORMATION process_info;
155         ZeroMemory (&process_info, sizeof (process_info));
156         if (!CreateProcess (0, command, 0, 0, TRUE, CREATE_NO_WINDOW, 0, dir, &startup_info, &process_info)) {
157                 LOG_ERROR_NC (N_("ffprobe call failed (could not CreateProcess)"));
158                 return;
159         }
160
161         auto o = fopen_boost (out, "w");
162         if (!o) {
163                 LOG_ERROR_NC (N_("ffprobe call failed (could not create output file)"));
164                 return;
165         }
166
167         CloseHandle (child_stderr_write);
168
169         while (true) {
170                 char buffer[512];
171                 DWORD read;
172                 if (!ReadFile(child_stderr_read, buffer, sizeof(buffer), &read, 0) || read == 0) {
173                         break;
174                 }
175                 fwrite (buffer, read, 1, o);
176         }
177
178         fclose (o);
179
180         WaitForSingleObject (process_info.hProcess, INFINITE);
181         CloseHandle (process_info.hProcess);
182         CloseHandle (process_info.hThread);
183         CloseHandle (child_stderr_read);
184 }
185
186
187 list<pair<string, string>>
188 mount_info ()
189 {
190         return {};
191 }
192
193
194 boost::filesystem::path
195 directory_containing_executable ()
196 {
197         return boost::dll::program_location().parent_path();
198 }
199
200
201 boost::filesystem::path
202 resources_path ()
203 {
204         return directory_containing_executable().parent_path();
205 }
206
207
208 boost::filesystem::path
209 xsd_path ()
210 {
211         return directory_containing_executable().parent_path() / "xsd";
212 }
213
214
215 boost::filesystem::path
216 tags_path ()
217 {
218         return directory_containing_executable().parent_path() / "tags";
219 }
220
221
222 boost::filesystem::path
223 openssl_path ()
224 {
225         return directory_containing_executable() / "openssl.exe";
226 }
227
228
229 #ifdef DCPOMATIC_DISK
230 boost::filesystem::path
231 disk_writer_path ()
232 {
233         return directory_containing_executable() / "dcpomatic2_disk_writer.exe";
234 }
235 #endif
236
237
238 /** Windows can't "by default" cope with paths longer than 260 characters, so if you pass such a path to
239  *  any boost::filesystem method it will fail.  There is a "fix" for this, which is to prepend
240  *  the string \\?\ to the path.  This will make it work, so long as:
241  *  - the path is absolute.
242  *  - the path only uses backslashes.
243  *  - individual path components are "short enough" (probably less than 255 characters)
244  *
245  *  See https://www.boost.org/doc/libs/1_57_0/libs/filesystem/doc/reference.html under
246  *  "Warning: Long paths on Windows" for some details.
247  *
248  *  Our fopen_boost uses this method to get this fix, but any other calls to boost::filesystem
249  *  will not unless this method is explicitly called to pre-process the pathname.
250  */
251 boost::filesystem::path
252 fix_long_path (boost::filesystem::path long_path)
253 {
254         using namespace boost::filesystem;
255         path fixed = "\\\\?\\";
256         /* We have to make the path canonical but we can't call canonical() on the long path
257          * as it will fail.  So we'll sort of do it ourselves (possibly badly).
258          */
259         if (long_path.is_absolute()) {
260                 fixed += long_path.make_preferred();
261         } else {
262                 fixed += boost::filesystem::current_path() / long_path.make_preferred();
263         }
264         return fixed;
265 }
266
267
268 /* Apparently there is no way to create an ofstream using a UTF-8
269    filename under Windows.  We are hence reduced to using fopen
270    with this wrapper.
271 */
272 FILE *
273 fopen_boost (boost::filesystem::path p, string t)
274 {
275         wstring w (t.begin(), t.end());
276         /* c_str() on fixed here should give a UTF-16 string */
277         return _wfopen (fix_long_path(p).c_str(), w.c_str());
278 }
279
280
281 int
282 dcpomatic_fseek (FILE* stream, int64_t offset, int whence)
283 {
284         return _fseeki64 (stream, offset, whence);
285 }
286
287
288 void
289 Waker::nudge ()
290 {
291         boost::mutex::scoped_lock lm (_mutex);
292         SetThreadExecutionState (ES_SYSTEM_REQUIRED);
293 }
294
295
296 Waker::Waker ()
297 {
298
299 }
300
301
302 Waker::~Waker ()
303 {
304
305 }
306
307
308 void
309 start_tool (string executable)
310 {
311         auto batch = directory_containing_executable() / executable;
312
313         STARTUPINFO startup_info;
314         ZeroMemory (&startup_info, sizeof (startup_info));
315         startup_info.cb = sizeof (startup_info);
316
317         PROCESS_INFORMATION process_info;
318         ZeroMemory (&process_info, sizeof (process_info));
319
320         wchar_t cmd[512];
321         MultiByteToWideChar (CP_UTF8, 0, batch.string().c_str(), -1, cmd, sizeof(cmd));
322         CreateProcess (0, cmd, 0, 0, FALSE, 0, 0, 0, &startup_info, &process_info);
323 }
324
325
326 void
327 start_batch_converter ()
328 {
329         start_tool ("dcpomatic2_batch");
330 }
331
332
333 void
334 start_player ()
335 {
336         start_tool ("dcpomatic2_player");
337 }
338
339
340 uint64_t
341 thread_id ()
342 {
343         return (uint64_t) GetCurrentThreadId ();
344 }
345
346
347 static string
348 wchar_to_utf8 (wchar_t const * s)
349 {
350         int const length = (wcslen(s) + 1) * 2;
351         char* utf8 = new char[length];
352         WideCharToMultiByte (CP_UTF8, 0, s, -1, utf8, length, 0, 0);
353         string u (utf8);
354         delete[] utf8;
355         return u;
356 }
357
358
359 int
360 avio_open_boost (AVIOContext** s, boost::filesystem::path file, int flags)
361 {
362         return avio_open (s, wchar_to_utf8(file.c_str()).c_str(), flags);
363 }
364
365
366 void
367 maybe_open_console ()
368 {
369         if (Config::instance()->win32_console ()) {
370                 AllocConsole();
371
372                 auto handle_out = GetStdHandle(STD_OUTPUT_HANDLE);
373                 int hCrt = _open_osfhandle((intptr_t) handle_out, _O_TEXT);
374                 auto hf_out = _fdopen(hCrt, "w");
375                 setvbuf(hf_out, NULL, _IONBF, 1);
376                 *stdout = *hf_out;
377
378                 auto handle_in = GetStdHandle(STD_INPUT_HANDLE);
379                 hCrt = _open_osfhandle((intptr_t) handle_in, _O_TEXT);
380                 auto hf_in = _fdopen(hCrt, "r");
381                 setvbuf(hf_in, NULL, _IONBF, 128);
382                 *stdin = *hf_in;
383         }
384 }
385
386
387 boost::filesystem::path
388 home_directory ()
389 {
390         return boost::filesystem::path(getenv("HOMEDRIVE")) / boost::filesystem::path(getenv("HOMEPATH"));
391 }
392
393
394 /** @return true if this process is a 32-bit one running on a 64-bit-capable OS */
395 bool
396 running_32_on_64 ()
397 {
398         BOOL p;
399         IsWow64Process (GetCurrentProcess(), &p);
400         return p;
401 }
402
403
404 static optional<string>
405 get_friendly_name (HDEVINFO device_info, SP_DEVINFO_DATA* device_info_data)
406 {
407         wchar_t buffer[MAX_PATH];
408         ZeroMemory (&buffer, sizeof(buffer));
409         bool r = SetupDiGetDeviceRegistryPropertyW (
410                         device_info, device_info_data, SPDRP_FRIENDLYNAME, 0, reinterpret_cast<PBYTE>(buffer), sizeof(buffer), 0
411                         );
412         if (!r) {
413                 return optional<string>();
414         }
415         return wchar_to_utf8 (buffer);
416 }
417
418
419 static const GUID GUID_DEVICE_INTERFACE_DISK = {
420         0x53F56307L, 0xB6BF, 0x11D0, { 0x94, 0xF2, 0x00, 0xA0, 0xC9, 0x1E, 0xFB, 0x8B }
421 };
422
423
424 static optional<int>
425 get_device_number (HDEVINFO device_info, SP_DEVINFO_DATA* device_info_data)
426 {
427         /* Find the Windows path to the device */
428
429         SP_DEVICE_INTERFACE_DATA device_interface_data;
430         device_interface_data.cbSize = sizeof(SP_DEVICE_INTERFACE_DATA);
431
432         auto r = SetupDiEnumDeviceInterfaces (device_info, device_info_data, &GUID_DEVICE_INTERFACE_DISK, 0, &device_interface_data);
433         if (!r) {
434                 LOG_DISK("SetupDiEnumDeviceInterfaces failed (%1)", GetLastError());
435                 return optional<int>();
436         }
437
438         /* Find out how much space we need for our SP_DEVICE_INTERFACE_DETAIL_DATA_W */
439         DWORD size;
440         r = SetupDiGetDeviceInterfaceDetailW(device_info, &device_interface_data, 0, 0, &size, 0);
441         PSP_DEVICE_INTERFACE_DETAIL_DATA_W device_detail_data = static_cast<PSP_DEVICE_INTERFACE_DETAIL_DATA_W> (malloc(size));
442         if (!device_detail_data) {
443                 LOG_DISK_NC("malloc failed");
444                 return optional<int>();
445         }
446
447         device_detail_data->cbSize = sizeof(SP_DEVICE_INTERFACE_DETAIL_DATA_W);
448
449         /* And get the path */
450         r = SetupDiGetDeviceInterfaceDetailW (device_info, &device_interface_data, device_detail_data, size, &size, 0);
451         if (!r) {
452                 LOG_DISK_NC("SetupDiGetDeviceInterfaceDetailW failed");
453                 free (device_detail_data);
454                 return optional<int>();
455         }
456
457         /* Open it.  We would not be allowed GENERIC_READ access here but specifying 0 for
458            dwDesiredAccess allows us to query some metadata.
459         */
460         auto device = CreateFileW (
461                         device_detail_data->DevicePath, 0,
462                         FILE_SHARE_READ | FILE_SHARE_WRITE, 0,
463                         OPEN_EXISTING, 0, 0
464                         );
465
466         free (device_detail_data);
467
468         if (device == INVALID_HANDLE_VALUE) {
469                 LOG_DISK("CreateFileW failed with %1", GetLastError());
470                 return optional<int>();
471         }
472
473         /* Get the device number */
474         STORAGE_DEVICE_NUMBER device_number;
475         r = DeviceIoControl (
476                         device, IOCTL_STORAGE_GET_DEVICE_NUMBER, 0, 0,
477                         &device_number, sizeof(device_number), &size, 0
478                         );
479
480         CloseHandle (device);
481
482         if (!r) {
483                 return {};
484         }
485
486         return device_number.DeviceNumber;
487 }
488
489
490 typedef map<int, vector<boost::filesystem::path>> MountPoints;
491
492
493 /** Take a volume path (with a trailing \) and add any disk numbers related to that volume
494  *  to @ref disks.
495  */
496 static void
497 add_volume_mount_points (wchar_t* volume, MountPoints& mount_points)
498 {
499         LOG_DISK("Looking at %1", wchar_to_utf8(volume));
500
501         wchar_t volume_path_names[512];
502         vector<boost::filesystem::path> mp;
503         DWORD returned;
504         if (GetVolumePathNamesForVolumeNameW(volume, volume_path_names, sizeof(volume_path_names) / sizeof(wchar_t), &returned)) {
505                 wchar_t* p = volume_path_names;
506                 while (*p != L'\0') {
507                         mp.push_back (wchar_to_utf8(p));
508                         LOG_DISK ("Found mount point %1", wchar_to_utf8(p));
509                         p += wcslen(p) + 1;
510                 }
511         }
512
513         /* Strip trailing \ */
514         size_t const len = wcslen (volume);
515         DCPOMATIC_ASSERT (len > 0);
516         volume[len - 1] = L'\0';
517
518         auto handle = CreateFileW (
519                         volume, 0,
520                         FILE_SHARE_READ | FILE_SHARE_WRITE, 0,
521                         OPEN_EXISTING, 0, 0
522                         );
523
524         DCPOMATIC_ASSERT (handle != INVALID_HANDLE_VALUE);
525
526         VOLUME_DISK_EXTENTS extents;
527         DWORD size;
528         BOOL r = DeviceIoControl (handle, IOCTL_VOLUME_GET_VOLUME_DISK_EXTENTS, 0, 0, &extents, sizeof(extents), &size, 0);
529         CloseHandle (handle);
530         if (!r) {
531                 return;
532         }
533         DCPOMATIC_ASSERT (extents.NumberOfDiskExtents == 1);
534
535         mount_points[extents.Extents[0].DiskNumber] = mp;
536 }
537
538
539 MountPoints
540 find_mount_points ()
541 {
542         MountPoints mount_points;
543
544         wchar_t volume_name[512];
545         auto volume = FindFirstVolumeW (volume_name, sizeof(volume_name) / sizeof(wchar_t));
546         if (volume == INVALID_HANDLE_VALUE) {
547                 return MountPoints();
548         }
549
550         add_volume_mount_points (volume_name, mount_points);
551         while (true) {
552                 if (!FindNextVolumeW(volume, volume_name, sizeof(volume_name) / sizeof(wchar_t))) {
553                         break;
554                 }
555                 add_volume_mount_points (volume_name, mount_points);
556         }
557         FindVolumeClose (volume);
558
559         return mount_points;
560 }
561
562
563 vector<Drive>
564 Drive::get ()
565 {
566         vector<Drive> drives;
567
568         auto mount_points = find_mount_points ();
569
570         /* Get a `device information set' containing information about all disks */
571         auto device_info = SetupDiGetClassDevsA (&GUID_DEVICE_INTERFACE_DISK, 0, 0, DIGCF_PRESENT | DIGCF_DEVICEINTERFACE);
572         if (device_info == INVALID_HANDLE_VALUE) {
573                 LOG_DISK_NC ("SetupDiClassDevsA failed");
574                 return drives;
575         }
576
577         int i = 0;
578         while (true) {
579                 /* Find out about the next disk */
580                 SP_DEVINFO_DATA device_info_data;
581                 device_info_data.cbSize = sizeof(SP_DEVINFO_DATA);
582                 if (!SetupDiEnumDeviceInfo(device_info, i, &device_info_data)) {
583                         DWORD e = GetLastError();
584                         if (e != ERROR_NO_MORE_ITEMS) {
585                                 LOG_DISK ("SetupDiEnumDeviceInfo failed (%1)", GetLastError());
586                         }
587                         break;
588                 }
589                 ++i;
590
591                 auto const friendly_name = get_friendly_name (device_info, &device_info_data);
592                 auto device_number = get_device_number (device_info, &device_info_data);
593                 if (!device_number) {
594                         continue;
595                 }
596
597                 string const physical_drive = String::compose("\\\\.\\PHYSICALDRIVE%1", *device_number);
598
599                 HANDLE device = CreateFileA (
600                                 physical_drive.c_str(), 0,
601                                 FILE_SHARE_READ | FILE_SHARE_WRITE, 0,
602                                 OPEN_EXISTING, 0, 0
603                                 );
604
605                 if (device == INVALID_HANDLE_VALUE) {
606                         LOG_DISK_NC("Could not open PHYSICALDRIVE");
607                         continue;
608                 }
609
610                 DISK_GEOMETRY geom;
611                 DWORD returned;
612                 BOOL r = DeviceIoControl (
613                                 device, IOCTL_DISK_GET_DRIVE_GEOMETRY, 0, 0,
614                                 &geom, sizeof(geom), &returned, 0
615                                 );
616
617                 LOG_DISK("Having a look through %1 locked volumes", locked_volumes.size());
618                 bool locked = false;
619                 for (auto const& i: locked_volumes) {
620                         if (i.second == physical_drive) {
621                                 locked = true;
622                         }
623                 }
624
625                 if (r) {
626                         uint64_t const disk_size = geom.Cylinders.QuadPart * geom.TracksPerCylinder * geom.SectorsPerTrack * geom.BytesPerSector;
627                         drives.push_back (Drive(physical_drive, locked ? vector<boost::filesystem::path>() : mount_points[*device_number], disk_size, friendly_name, optional<string>()));
628                         LOG_DISK("Added drive %1%2", drives.back().log_summary(), locked ? "(locked by us)" : "");
629                 }
630
631                 CloseHandle (device);
632         }
633
634         return drives;
635 }
636
637
638 bool
639 Drive::unmount ()
640 {
641         LOG_DISK("Unmounting %1 with %2 mount points", _device, _mount_points.size());
642         DCPOMATIC_ASSERT (_mount_points.size() == 1);
643         string const device_name = String::compose ("\\\\.\\%1", _mount_points.front());
644         string const truncated = device_name.substr (0, device_name.length() - 1);
645         //LOG_DISK("Actually opening %1", _device);
646         //HANDLE device = CreateFileA (_device.c_str(), (GENERIC_READ | GENERIC_WRITE), FILE_SHARE_READ | FILE_SHARE_WRITE, 0, OPEN_EXISTING, 0, 0);
647         LOG_DISK("Actually opening %1", truncated);
648         HANDLE device = CreateFileA (truncated.c_str(), (GENERIC_READ | GENERIC_WRITE), FILE_SHARE_READ | FILE_SHARE_WRITE, 0, OPEN_EXISTING, 0, 0);
649         if (device == INVALID_HANDLE_VALUE) {
650                 LOG_DISK("Could not open %1 for unmount (%2)", truncated, GetLastError());
651                 return false;
652         }
653         DWORD returned;
654         BOOL r = DeviceIoControl (device, FSCTL_LOCK_VOLUME, 0, 0, 0, 0, &returned, 0);
655         if (!r) {
656                 LOG_DISK("Unmount of %1 failed (%2)", truncated, GetLastError());
657                 return false;
658         }
659
660         LOG_DISK("Unmount of %1 succeeded", _device);
661         locked_volumes.push_back (make_pair(device, _device));
662
663         return true;
664 }
665
666
667 boost::filesystem::path
668 config_path ()
669 {
670         boost::filesystem::path p;
671         p /= g_get_user_config_dir ();
672         p /= "dcpomatic2";
673         return p;
674 }
675
676
677 void
678 disk_write_finished ()
679 {
680         for (auto const& i: locked_volumes) {
681                 CloseHandle (i.first);
682         }
683 }
684
685
686 string
687 dcpomatic::get_process_id ()
688 {
689         return dcp::raw_convert<string>(GetCurrentProcessId());
690 }
691