Various fixes to notarize command that should have been squashed.
[cdist.git] / cdist
diff --git a/cdist b/cdist
index 2327a4e58b763e02f4c2cd802f1c5b810e42e17c..7f5552230c5989bb16b9dd094a99a43b9478a78d 100755 (executable)
--- a/cdist
+++ b/cdist
@@ -1,6 +1,6 @@
 #!/usr/bin/python3
 
-#    Copyright (C) 2012-2020 Carl Hetherington <cth@carlh.net>
+#    Copyright (C) 2012-2021 Carl Hetherington <cth@carlh.net>
 #
 #    This program is free software; you can redistribute it and/or modify
 #    it under the terms of the GNU General Public License as published by
@@ -26,6 +26,7 @@ import glob
 import inspect
 import multiprocessing
 import os
+from pathlib import Path
 import platform
 import re
 import shlex
@@ -112,6 +113,8 @@ class Config:
                          Option('osx_environment_prefix'),
                          Option('osx_sdk_prefix'),
                          Option('osx_sdk'),
+                         Option('osx_intel_deployment'),
+                         Option('osx_arm_deployment'),
                          Option('osx_keychain_file'),
                          Option('osx_keychain_password'),
                          Option('apple_id'),
@@ -425,7 +428,11 @@ class Target(object):
     def setup(self):
         pass
 
-    def _build_packages(self, tree, options, notarize):
+    def _cscript_package(self, tree, options):
+        """
+        Call package() in the cscript and return what it returns, except that
+        anything not in a list will be put into one.
+        """
         if len(inspect.getfullargspec(tree.cscript['package']).args) == 3:
             packages = tree.call('package', tree.version, options)
         else:
@@ -441,7 +448,7 @@ class Target(object):
     def package(self, project, checkout, output_dir, options, notarize):
         tree = self.build(project, checkout, options)
         tree.add_defaults(options)
-        p = self._build_packages(tree, options, notarize)
+        p = self._cscript_package(tree, options)
         self._copy_packages(tree, p, output_dir)
 
     def build(self, project, checkout, options):
@@ -742,13 +749,14 @@ def notarize_dmg(dmg, bundle_id):
 
     request_uuid = string_after(p, "RequestUUID")
     if request_uuid is None:
+        print("Response: %s" % p)
         raise Error('No RequestUUID found in response from Apple')
 
     for i in range(0, 30):
-        print('Checking up on %s' % request_uuid)
+        print('%s: checking up on %s' % (datetime.datetime.now(), request_uuid))
         p = subprocess.run(['xcrun', 'altool', '--notarization-info', request_uuid, '-u', config.get('apple_id'), '-p', config.get('apple_password'), '--output-format', 'xml'], capture_output=True)
         status = string_after(p, 'Status')
-        print('Got %s' % status)
+        print('%s: got status %s' % (datetime.datetime.now(), status))
         if status == 'invalid':
             raise Error("Notarization failed")
         elif status == 'success':
@@ -778,21 +786,28 @@ class OSXTarget(Target):
     def unlock_keychain(self):
         self.command('security unlock-keychain -p %s %s' % (self.osx_keychain_password, self.osx_keychain_file))
 
-    def _build_packages(self, tree, options, notarize):
-        p = super()._build_packages(tree, options, notarize)
+    def _cscript_package_and_notarize(self, tree, options, notarize):
+        """
+        Call package() in the cscript and notarize the .dmgs that are returned, if notarize == True
+        """
+        p = self._cscript_package(tree, options)
         for x in p:
             if not isinstance(x, tuple):
                 raise Error('macOS packages must be returned from cscript as tuples of (dmg-filename, bundle-id)')
             if notarize:
                 notarize_dmg(x[0], x[1])
-        return p
+            else:
+                with open(dmg + '.id', 'w') as f:
+                    print(x[1], out=f)
+        return [x[0] for x in p]
 
 
 class OSXSingleTarget(OSXTarget):
-    def __init__(self, arch, sdk, directory=None):
+    def __init__(self, arch, sdk, deployment, directory=None):
         super(OSXSingleTarget, self).__init__(directory)
         self.arch = arch
         self.sdk = sdk
+        self.deployment = deployment
 
         flags = '-isysroot %s/MacOSX%s.sdk -arch %s' % (self.sdk_prefix, sdk, arch)
         host_enviro = '%s/x86_64' % config.get('osx_environment_prefix')
@@ -808,7 +823,7 @@ class OSXSingleTarget(OSXTarget):
         self.set('LINKFLAGS', '"-L%s/lib -L%s/lib %s"' % (self.directory, target_enviro, flags))
         self.set('PKG_CONFIG_PATH', '%s/lib/pkgconfig:%s/lib/pkgconfig:/usr/lib/pkgconfig' % (self.directory, target_enviro))
         self.set('PATH', '$PATH:/usr/bin:/sbin:/usr/local/bin:%s/bin' % host_enviro)
-        self.set('MACOSX_DEPLOYMENT_TARGET', sdk)
+        self.set('MACOSX_DEPLOYMENT_TARGET', self.deployment)
         self.set('CCACHE_BASEDIR', self.directory)
 
     @Target.ccache.setter
@@ -822,24 +837,18 @@ class OSXSingleTarget(OSXTarget):
         tree = self.build(project, checkout, options)
         tree.add_defaults(options)
         self.unlock_keychain()
-        p = self._build_packages(tree, options, notarize)
-        self._copy_packages(tree, [x[0] for x in p], output_dir)
+        p = self._cscript_package_and_notarize(tree, options, notarize)
+        self._copy_packages(tree, p, output_dir)
 
 
 class OSXUniversalTarget(OSXTarget):
-    def __init__(self, archs, directory=None):
+    def __init__(self, directory=None):
         super(OSXUniversalTarget, self).__init__(directory)
-        self.archs = archs
+        self.sdk = config.get('osx_sdk')
 
     def package(self, project, checkout, output_dir, options, notarize):
-
-        sdk = config.get('osx_sdk')
-        for a in self.archs:
-            if a.find('arm') != -1:
-                sdk = '11.0'
-
-        for a in self.archs:
-            target = OSXSingleTarget(a, sdk, os.path.join(self.directory, a))
+        for arch, deployment in (('x86_64', config.get('osx_intel_deployment')), ('arm64', config.get('osx_arm_deployment'))):
+            target = OSXSingleTarget(arch, self.sdk, deployment, os.path.join(self.directory, arch))
             target.ccache = self.ccache
             tree = globals.trees.get(project, checkout, target)
             tree.build_dependencies(options)
@@ -848,7 +857,7 @@ class OSXUniversalTarget(OSXTarget):
         self.unlock_keychain()
         tree = globals.trees.get(project, checkout, self)
         with TreeDirectory(tree):
-            for p in self._build_packages(tree, options, notarize):
+            for p in self._cscript_package_and_notarize(tree, options, notarize):
                 copyfile(p, os.path.join(output_dir, os.path.basename(devel_to_git(tree.git_commit, p))))
 
 class SourceTarget(Target):
@@ -878,7 +887,7 @@ class SourceTarget(Target):
 #    or centos-version-{32,64}
 #    or fedora-version-{32,64}
 #    or mageia-version-{32,64}
-#    or osx-{intel,arm}
+#    or osx
 #    or source
 #    or flatpak
 #    or appimage
@@ -909,17 +918,10 @@ def target_factory(args):
         target = LinuxTarget(p[0], None, int(p[1]), args.work)
     elif s == 'raspbian':
         target = LinuxTarget(s, None, None, args.work)
-    elif s == 'osx-intel-32-64':
-        # Universal Intel 32/64-bit built for config's os_sdk
-        if args.command == 'build':
-            target = OSXSingleTarget('x86_64', args.work)
-        else:
-            target = OSXUniversalTarget(('i386', 'x86_64'), args.work)
-    elif s == 'osx-arm-intel-64':
-        # Universal arm64 and Intel 64-bit built for SDK 11.0
-        target = OSXUniversalTarget(('arm64', 'x86_64'), args.work)
-    elif s == 'osx-arm64':
-        target = OSXSingleTarget('arm64', '11.0', args.work)
+    elif s == 'osx':
+        target = OSXUniversalTarget(args.work)
+    elif s == 'osx-intel':
+        target = OSXSingleTarget('x86_64', config.get('osx_sdk'), config.get('osx_intel_deployment'), args.work)
     elif s == 'source':
         target = SourceTarget()
     elif s == 'flatpak':
@@ -1171,6 +1173,8 @@ def main():
     parser_checkout = subparsers.add_parser("checkout", help="check out the project")
     parser_revision = subparsers.add_parser("revision", help="print the head git revision number")
     parser_dependencies = subparsers.add_parser("dependencies", help="print details of the project's dependencies as a .dot file")
+    parser_notarize = subparsers.add_parser("notarize", help="notarize .dmgs in a directory using *.dmg.id files")
+    parser_notarize.add_argument('--dmgs', help='directory containing *.dmg and *.dmg.id')
 
     global args
     args = parser.parse_args()
@@ -1201,7 +1205,7 @@ def main():
         if not os.path.exists(args.work):
             os.makedirs(args.work)
 
-    if args.project is None and args.command != 'shell':
+    if args.project is None and not args.command in ['shell', 'notarize']:
         raise Error('you must specify -p or --project')
 
     globals.quiet = args.quiet
@@ -1381,6 +1385,18 @@ def main():
             print("%s -> %s;" % (d[2].name.replace("-", "-"), d[0].name.replace("-", "_")))
         print("}")
 
+    elif args.command == 'notarize':
+        if args.dmgs is None:
+            raise Error('you must specify ---dmgs')
+
+        for dmg in Path(args.dmgs).glob('*.dmg'):
+            id = None
+            try:
+                with open(str(dmg) + '.id') as f:
+                    id = f.readline().strip()
+            except OSError:
+                raise Error('could not find ID file for %s' % dmg)
+            notarize_dmg(dmg, id)
 
 try:
     main()