Read and pass apple id/password to target.
[cdist.git] / cdist
diff --git a/cdist b/cdist
index 7c8098cfcc40c893d619a43ee885fd239db27353..cf6f11bc7af31b4f387c2862a8bc0e3ff9d5ffd0 100755 (executable)
--- a/cdist
+++ b/cdist
@@ -1,6 +1,6 @@
 #!/usr/bin/python
 
-#    Copyright (C) 2012-2018 Carl Hetherington <cth@carlh.net>
+#    Copyright (C) 2012-2019 Carl Hetherington <cth@carlh.net>
 #
 #    This program is free software; you can redistribute it and/or modify
 #    it under the terms of the GNU General Public License as published by
@@ -30,6 +30,7 @@ import copy
 import inspect
 import getpass
 import shlex
+import multiprocessing
 
 TEMPORARY_DIRECTORY = '/var/tmp'
 
@@ -55,10 +56,10 @@ class Trees:
             if t.name == name and t.specifier == specifier and t.target == target:
                 return t
             elif t.name == name and t.specifier != specifier:
-                a = specifier
+                a = specifier if specifier is not None else "[Any]"
                 if required_by is not None:
                     a += ' by %s' % required_by
-                b = t.specifier
+                b = t.specifier if t.specifier is not None else "[Any]"
                 if t.required_by is not None:
                     b += ' by %s' % t.required_by
                 raise Error('conflicting versions of %s required (%s versus %s)' % (name, a, b))
@@ -105,9 +106,13 @@ class Config:
                          Option('osx_environment_prefix'),
                          Option('osx_sdk_prefix'),
                          Option('osx_sdk'),
+                         Option('apple_id'),
+                         Option('apple_password'),
                          BoolOption('docker_sudo'),
+                         BoolOption('docker_no_user'),
+                         Option('docker_hub_repository'),
                          Option('flatpak_state_dir'),
-                         Option('parallel', 4) ]
+                         Option('parallel', multiprocessing.cpu_count()) ]
 
         try:
             f = open('%s/.config/cdist' % os.path.expanduser('~'), 'r')
@@ -260,7 +265,6 @@ def set_version_in_wscript(version):
 
         s = l.split()
         if len(s) == 3 and s[0] == "VERSION":
-            print("Writing %s" % version)
             print("VERSION = '%s'" % version, file=o)
         else:
             print(l, file=o, end="")
@@ -349,6 +353,14 @@ class Version:
         else:
             self.micro = 0
 
+    @classmethod
+    def from_git_tag(cls, tag):
+        bits = tag.split('-')
+        c = cls(bits[0])
+        if len(bits) > 1 and int(bits[1]) > 0:
+            c.devel = True
+        return c
+
     def bump_minor(self):
         self.minor += 1
         self.micro = 0
@@ -506,17 +518,29 @@ class DockerTarget(Target):
         self.mounts = []
         self.privileged = False
 
+    def _user_tag(self):
+        if config.get('docker_no_user'):
+            return ''
+        return '-u %s' % getpass.getuser()
+
     def setup(self):
         opts = '-v %s:%s ' % (self.directory, self.directory)
         for m in self.mounts:
             opts += '-v %s:%s ' % (m, m)
         if self.privileged:
             opts += '--privileged=true '
-        self.container = command_and_read('%s run -u %s %s -itd %s /bin/bash' % (config.docker(), getpass.getuser(), opts, self.image)).read().strip()
+        if self.ccache:
+            opts += "-e CCACHE_DIR=/ccache --volumes-from ccache-%s" % self.image
+
+        tag = self.image
+        if config.has('docker_hub_repository'):
+            tag = '%s:%s' % (config.get('docker_hub_repository'), tag)
+
+        self.container = command_and_read('%s run %s %s -itd %s /bin/bash' % (config.docker(), self._user_tag(), opts, tag)).read().strip()
 
     def command(self, cmd):
         dir = os.path.join(self.directory, os.path.relpath(os.getcwd(), self.directory))
-        command('%s exec -u %s -t %s /bin/bash -c \'export %s; cd %s; %s\'' % (config.docker(), getpass.getuser(), self.container, self.variables_string(), dir, cmd))
+        command('%s exec %s -t %s /bin/bash -c \'export %s; cd %s; %s\'' % (config.docker(), self._user_tag(), self.container, self.variables_string(), dir, cmd))
 
     def cleanup(self):
         super(DockerTarget, self).cleanup()
@@ -646,6 +670,12 @@ class LinuxTarget(DockerTarget):
         else:
             self.image = '%s-%s-%s' % (self.distro, self.version, self.bits)
 
+    def setup(self):
+        super(LinuxTarget, self).setup()
+        if self.ccache:
+            self.set('CC', '"ccache gcc"')
+            self.set('CXX', '"ccache g++"')
+
     def test(self, tree, test, options):
         self.append_with_colon('PATH', '%s/bin' % self.directory)
         self.append_with_colon('LD_LIBRARY_PATH', '%s/lib' % self.directory)
@@ -654,7 +684,7 @@ class LinuxTarget(DockerTarget):
 
 class AppImageTarget(LinuxTarget):
     def __init__(self, work):
-        super(AppImageTarget, self).__init__('ubuntu', '14.04', 64, work)
+        super(AppImageTarget, self).__init__('ubuntu', '16.04', 64, work)
         self.detail = 'appimage'
         self.privileged = True
 
@@ -665,6 +695,8 @@ class OSXTarget(Target):
         self.sdk = config.get('osx_sdk')
         self.sdk_prefix = config.get('osx_sdk_prefix')
         self.environment_prefix = config.get('osx_environment_prefix')
+        self.apple_id = config.get('apple_id')
+        self.apple_password = config.get('apple_password')
 
     def command(self, c):
         command('%s %s' % (self.variables_string(False), c))
@@ -692,9 +724,7 @@ class OSXSingleTarget(OSXTarget):
         self.set('PKG_CONFIG_PATH', '%s/lib/pkgconfig:%s/lib/pkgconfig:/usr/lib/pkgconfig' % (self.directory, enviro))
         self.set('PATH', '$PATH:/usr/bin:/sbin:/usr/local/bin:%s/bin' % enviro)
         self.set('MACOSX_DEPLOYMENT_TARGET', config.get('osx_sdk'))
-
-    def package(self, project, checkout, output_dir, options):
-        raise Error('cannot package non-universal OS X versions')
+        self.set('CCACHE_BASEDIR', self.directory)
 
     @Target.ccache.setter
     def ccache(self, v):
@@ -707,6 +737,7 @@ class OSXSingleTarget(OSXTarget):
 class OSXUniversalTarget(OSXTarget):
     def __init__(self, directory=None):
         super(OSXUniversalTarget, self).__init__(directory)
+        self.bits = None
 
     def package(self, project, checkout, output_dir, options):
 
@@ -870,7 +901,8 @@ class Tree(object):
                 try:
                     self.version = Version(v)
                 except:
-                    self.version = Version(subprocess.Popen(shlex.split('git -C %s describe --tags --abbrev=0' % proj), stdout=subprocess.PIPE).communicate()[0][1:])
+                    tag = subprocess.Popen(shlex.split('git -C %s describe --tags' % proj), stdout=subprocess.PIPE).communicate()[0][1:]
+                    self.version = Version.from_git_tag(tag)
 
         os.chdir(cwd)
 
@@ -1031,27 +1063,32 @@ def main():
         if args.target is None:
             raise Error('you must specify -t or --target')
 
-        target = target_factory(args)
+        target = None
+        try:
+            target = target_factory(args)
 
-        if target.platform == 'linux' and target.detail != "appimage":
-            if target.distro != 'arch':
-                output_dir = os.path.join(args.output, '%s-%s-%d' % (target.distro, target.version, target.bits))
+            if target.platform == 'linux' and target.detail != "appimage":
+                if target.distro != 'arch':
+                    output_dir = os.path.join(args.output, '%s-%s-%d' % (target.distro, target.version, target.bits))
+                else:
+                    output_dir = os.path.join(args.output, '%s-%d' % (target.distro, target.bits))
             else:
-                output_dir = os.path.join(args.output, '%s-%d' % (target.distro, target.bits))
-        else:
-            output_dir = args.output
+                output_dir = args.output
 
-        makedirs(output_dir)
+            makedirs(output_dir)
 
-        # Start with the options passed on the command line
-        options = copy.copy(argument_options(args))
-        # Fill in the defaults
-        tree = globals.trees.get(args.project, args.checkout, target)
-        tree.add_defaults(options)
-
-        target.package(args.project, args.checkout, output_dir, options)
+            # Start with the options passed on the command line
+            options = copy.copy(argument_options(args))
+            # Fill in the defaults
+            tree = globals.trees.get(args.project, args.checkout, target)
+            tree.add_defaults(options)
+            target.package(args.project, args.checkout, output_dir, options)
+        except Error as e:
+            if target is not None and not args.keep:
+                target.cleanup()
+            raise
 
-        if not args.keep:
+        if target is not None and not args.keep:
             target.cleanup()
 
     elif globals.command == 'release':