Support older cscripts.
[cdist.git] / cdist
diff --git a/cdist b/cdist
index d76f2731d54d4d423915826c49c19fed6f75b7d9..a5e99636f3a6f9af3344b52b7f2b69c887cb3af3 100755 (executable)
--- a/cdist
+++ b/cdist
@@ -1,6 +1,6 @@
 #!/usr/bin/python
 
-#    Copyright (C) 2012 Carl Hetherington <cth@carlh.net>
+#    Copyright (C) 2012-2014 Carl Hetherington <cth@carlh.net>
 #
 #    This program is free software; you can redistribute it and/or modify
 #    it under the terms of the GNU General Public License as published by
@@ -25,6 +25,16 @@ import argparse
 import datetime
 import subprocess
 import re
+import copy
+import inspect
+
+class Error(Exception):
+    def __init__(self, value):
+        self.value = value
+    def __str__(self):
+        return '\x1b[31m%s\x1b[0m' % repr(self.value)
+    def __repr__(self):
+        return str(self)
 
 #
 # Configuration
@@ -67,8 +77,7 @@ class Config:
         if k in self.dict:
             return self.dict[k]
 
-        print >>sys.stderr,'Required setting %s not found' % k
-        sys.exit(1)
+        raise Error('Required setting %s not found' % k)
 
 config = Config()
 
@@ -80,10 +89,6 @@ def log(m):
     if not args.quiet:
         print '\x1b[33m* %s\x1b[0m' % m
 
-def error(e):
-    print '\x1b[31mError: %s\x1b[0m' % e
-    sys.exit(1)
-
 def copytree(a, b):
     log('copy %s -> %s' % (a, b))
     shutil.copytree(a, b)
@@ -104,7 +109,7 @@ def command(c, can_fail=False):
     log(c)
     r = os.system(c)
     if (r >> 8) and not can_fail:
-        error('command %s failed' % c)
+        raise Error('command %s failed' % c)
 
 def command_and_read(c):
     log(c)
@@ -133,60 +138,45 @@ def read_wscript_variable(directory, variable):
 
 class Version:
     def __init__(self, s):
-        self.pre = False
-        self.beta = None
+        self.devel = False
 
         if s.startswith("'"):
             s = s[1:]
         if s.endswith("'"):
             s = s[0:-1]
         
+        if s.endswith('devel'):
+            s = s[0:-5]
+            self.devel = True
+
         if s.endswith('pre'):
             s = s[0:-3]
-            self.pre = True
-
-        b = s.find("beta")
-        if b != -1:
-            self.beta = int(s[b+4:])
-            s = s[0:b]
 
         p = s.split('.')
         self.major = int(p[0])
         self.minor = int(p[1])
+        if len(p) == 3:
+            self.micro = int(p[2])
+        else:
+            self.micro = 0
 
-    def bump(self):
+    def bump_minor(self):
         self.minor += 1
-        self.pre = False
-        self.beta = None
+        self.micro = 0
 
-    def to_pre(self):
-        self.pre = True
-        self.beta = None
+    def bump_micro(self):
+        self.micro += 1
 
-    def bump_and_to_pre(self):
-        self.bump()
-        self.pre = True
-        self.beta = None
+    def to_devel(self):
+        self.devel = True
 
     def to_release(self):
-        self.pre = False
-        self.beta = None
-
-    def bump_beta(self):
-        if self.pre:
-            self.pre = False
-            self.beta = 1
-        elif self.beta is not None:
-            self.beta += 1
-        elif self.beta is None:
-            self.beta = 1
+        self.devel = False
 
     def __str__(self):
-        s = '%d.%02d' % (self.major, self.minor)
-        if self.beta is not None:
-            s += 'beta%d' % self.beta
-        elif self.pre:
-            s += 'pre'
+        s = '%d.%02d.%d' % (self.major, self.minor, self.micro)
+        if self.devel:
+            s += 'devel'
 
         return s
 
@@ -211,19 +201,43 @@ class Target(object):
                 dep = Project(d[0], '.', d[1])
                 dep.checkout(self)
                 self.build_dependencies(dep)
-                self.build(dep)
+
+                # Make the options to pass in from the option_defaults of the thing
+                # we are building and any options specified by the parent.
+                options = {}
+                if 'option_defaults' in dep.cscript:
+                    options = dep.cscript['option_defaults']()
+                    if len(d) > 2:
+                        for k, v in d[2].iteritems():
+                            options[k] = v
+
+                self.build(dep, options)
+
         os.chdir(cwd)
 
-    def build(self, project):
-        project.cscript['build'](self)
+    def build(self, project, options=None):
+        variables = copy.copy(self.variables)
+        print 'Target %s builds %s with %s' % (self.platform, project.name, self.variables)
+        if len(inspect.getargspec(project.cscript['build']).args) == 2:
+            project.cscript['build'](self, options)
+        else:
+            project.cscript['build'](self)
+        self.variables = variables
 
     def package(self, project):
         project.checkout(self)
         self.build_dependencies(project)
-        project.cscript['build'](self)
+        self.build(project)
         return project.cscript['package'](self, project.version)
 
+    def test(self, project):
+        project.checkout(self)
+        self.build_dependencies(project)
+        self.build(project)
+        project.cscript['test'](self)
+
     def set(self, a, b):
+        print "Target set %s=%s" % (a, b)
         self.variables[a] = b
 
     def unset(self, a):
@@ -261,7 +275,7 @@ class WindowsTarget(Target):
         
         self.windows_prefix = '%s/%d' % (config.get('windows_environment_prefix'), self.bits)
         if not os.path.exists(self.windows_prefix):
-            error('windows prefix %s does not exist' % self.windows_prefix)
+            raise Error('windows prefix %s does not exist' % self.windows_prefix)
             
         if self.bits == 32:
             self.mingw_name = 'i686'
@@ -306,8 +320,8 @@ class WindowsTarget(Target):
 #
 
 class LinuxTarget(Target):
-    # @param directory Directory to work in; if None, we will use the configured linux_dir_in_chroot
     def __init__(self, distro, version, bits, directory=None):
+        "directory -- directory to work in; if None, we will use the configured linux_dir_in_chroot"
         super(LinuxTarget, self).__init__('linux', 2)
         self.distro = distro
         self.version = version
@@ -323,7 +337,7 @@ class LinuxTarget(Target):
 
         self.set('CXXFLAGS', '-I%s/include' % self.work_dir_cscript())
         self.set('LINKFLAGS', '-L%s/lib' % self.work_dir_cscript())
-        self.set('PKG_CONFIG_PATH', '%s/lib/pkgconfig' % self.work_dir_cscript())
+        self.set('PKG_CONFIG_PATH', '%s/lib/pkgconfig:/usr/local/lib/pkgconfig' % self.work_dir_cscript())
         self.set('PATH', '%s:/usr/local/bin' % (os.environ['PATH']))
 
     def work_dir_cdist(self):
@@ -351,10 +365,16 @@ class LinuxTarget(Target):
 #
 
 class OSXTarget(Target):
-    def __init__(self):
+    def __init__(self, directory=None):
+        "directory -- directory to work in; if None, we will use the configured osx_dir_in_host"
         super(OSXTarget, self).__init__('osx', 4)
 
-        for g in glob.glob('%s/*' % config.get('osx_dir_in_host')):
+        if directory is None:
+            self.dir_in_host = config.get('osx_dir_in_host')
+        else:
+            self.dir_in_host = directory
+
+        for g in glob.glob('%s/*' % self.dir_in_host):
             rmtree(g)
 
     def command(self, c):
@@ -362,8 +382,8 @@ class OSXTarget(Target):
 
 
 class OSXSingleTarget(OSXTarget):
-    def __init__(self, bits):
-        super(OSXSingleTarget, self).__init__()
+    def __init__(self, bits, directory=None):
+        super(OSXSingleTarget, self).__init__(directory)
         self.bits = bits
 
         if bits == 32:
@@ -387,18 +407,21 @@ class OSXSingleTarget(OSXTarget):
         return self.work_dir_cscript()
 
     def work_dir_cscript(self):
-        return '%s/%d' % (config.get('osx_dir_in_host'), self.bits)
+        return '%s/%d' % (self.dir_in_host, self.bits)
 
     def package(self, project):
-        error('cannot package non-universal OS X versions')
+        raise Error('cannot package non-universal OS X versions')
 
 
 class OSXUniversalTarget(OSXTarget):
-    def __init__(self):
-        super(OSXUniversalTarget, self).__init__()
+    def __init__(self, directory=None):
+        super(OSXUniversalTarget, self).__init__(directory)
         self.parts = []
-        self.parts.append(OSXSingleTarget(32))
-        self.parts.append(OSXSingleTarget(64))
+        self.parts.append(OSXSingleTarget(32, directory))
+        self.parts.append(OSXSingleTarget(64, directory))
+
+    def work_dir_cscript(self):
+        return self.dir_in_host
 
     def package(self, project):
         for p in self.parts:
@@ -406,7 +429,7 @@ class OSXUniversalTarget(OSXTarget):
             p.build_dependencies(project)
             p.build(project)
 
-        return project.cscript['package'](self.parts[-1], project.version)
+        return project.cscript['package'](self, project.version)
     
 
 #
@@ -442,6 +465,7 @@ class SourceTarget(Target):
 #       windows-{32,64}
 #    or ubuntu-version-{32,64}
 #    or debian-version-{32,64}
+#    or centos-version-{32,64}
 #    or osx-{32,64}
 #    or source      
 # @param debug True to build with debugging symbols (where possible)
@@ -449,16 +473,19 @@ def target_factory(s, debug, work):
     target = None
     if s.startswith('windows-'):
         target = WindowsTarget(int(s.split('-')[1]), work)
-    elif s.startswith('ubuntu-') or s.startswith('debian-'):
+    elif s.startswith('ubuntu-') or s.startswith('debian-') or s.startswith('centos-'):
         p = s.split('-')
+        if len(p) != 3:
+            print >>sys.stderr,"Bad Linux target name `%s'; must be something like ubuntu-12.04-32 (i.e. distro-version-bits)" % s
+            sys.exit(1)
         target = LinuxTarget(p[0], p[1], int(p[2]), work)
     elif s.startswith('osx-'):
-        target = OSXSingleTarget(int(s.split('-')[1]))
+        target = OSXSingleTarget(int(s.split('-')[1]), work)
     elif s == 'osx':
         if args.command == 'build':
-            target = OSXSingleTarget(64)
+            target = OSXSingleTarget(64, work)
         else:
-            target = OSXUniversalTarget()
+            target = OSXUniversalTarget(work)
     elif s == 'source':
         target = SourceTarget()
 
@@ -554,10 +581,10 @@ def append_version_to_debian_changelog(version):
 
 parser = argparse.ArgumentParser()
 parser.add_argument('command')
-parser.add_argument('-p', '--project', help='project name', required=True)
+parser.add_argument('-p', '--project', help='project name')
 parser.add_argument('-d', '--directory', help='directory within project repo', default='.')
-parser.add_argument('--beta', help='beta release', action='store_true')
-parser.add_argument('--full', help='full release', action='store_true')
+parser.add_argument('--minor', help='minor version number bump', action='store_true')
+parser.add_argument('--micro', help='micro version number bump', action='store_true')
 parser.add_argument('-c', '--checkout', help='string to pass to git for checkout')
 parser.add_argument('-o', '--output', help='output directory', default='.')
 parser.add_argument('-q', '--quiet', help='be quiet', action='store_true')
@@ -571,14 +598,14 @@ args.output = os.path.abspath(args.output)
 if args.work is not None:
     args.work = os.path.abspath(args.work)
 
-if args.project is None:
-    error('you must specify -p or --project')
+if args.project is None and args.command != 'shell':
+    raise Error('you must specify -p or --project')
 
 project = Project(args.project, args.directory, args.checkout)
 
 if args.command == 'build':
     if args.target is None:
-        error('you must specify -t or --target')
+        raise Error('you must specify -t or --target')
 
     target = target_factory(args.target, args.debug, args.work)
     project.checkout(target)
@@ -589,7 +616,7 @@ if args.command == 'build':
 
 elif args.command == 'package':
     if args.target is None:
-        error('you must specify -t or --target')
+        raise Error('you must specify -t or --target')
         
     target = target_factory(args.target, args.debug, args.work)
 
@@ -598,7 +625,7 @@ elif args.command == 'package':
         packages = [packages]
 
     if target.platform == 'linux':
-        out = '%s/%s-%d' % (args.output, target.version, target.bits)
+        out = '%s/%s-%s-%d' % (args.output, target.distro, target.version, target.bits)
         try:
             os.makedirs(out)
         except:
@@ -609,20 +636,22 @@ elif args.command == 'package':
         for p in packages:
             copyfile(p, '%s/%s' % (args.output, os.path.basename(p)))
 
-    target.cleanup()
+    if not args.keep:
+        target.cleanup()
 
 elif args.command == 'release':
-    if args.full is False and args.beta is False:
-        error('you must specify --full or --beta')
+    if args.minor is False and args.micro is False:
+        raise Error('you must specify --minor or --micro')
 
     target = SourceTarget()
     project.checkout(target)
 
     version = project.version
-    if args.full:
-        version.to_release()
+    version.to_release()
+    if args.minor:
+        version.bump_minor()
     else:
-        version.bump_beta()
+        version.bump_micro()
 
     set_version_in_wscript(version)
     append_version_to_changelog(version)
@@ -631,11 +660,9 @@ elif args.command == 'release':
     command('git commit -a -m "Bump version"')
     command('git tag -m "v%s" v%s' % (version, version))
 
-    if args.full:
-        version.bump_and_to_pre()
-        set_version_in_wscript(version)
-        command('git commit -a -m "Bump version"')
-
+    version.to_devel()
+    set_version_in_wscript(version)
+    command('git commit -a -m "Bump version"')
     command('git push')
     command('git push --tags')
 
@@ -670,7 +697,8 @@ elif args.command == 'changelog':
         if len(l) > 0 and l[0] == "\t":
             s = l.split()
             if len(s) == 4 and s[1] == "Version" and s[3] == "released.":
-                if not "beta" in s[2]:
+                v = Version(s[2])
+                if v.micro == 0:
                     if last is not None and len(changes) > 0:
                         print >>html,"<h2>Changes between version %s and %s</h2>" % (s[2], last)
                         print >>html,"<ul>"
@@ -696,9 +724,12 @@ elif args.command == 'manual':
     target = SourceTarget()
     project.checkout(target)
 
-    dirs = project.cscript['make_manual'](target)
-    for d in dirs:
-        copytree(d, '%s/%s' % (args.output, os.path.basename(d)))
+    outs = project.cscript['make_manual'](target)
+    for o in outs:
+        if os.path.isfile(o):
+            copyfile(o, '%s/%s' % (args.output, os.path.basename(o)))
+        else:
+            copytree(o, '%s/%s' % (args.output, os.path.basename(o)))
 
     target.cleanup()
 
@@ -726,6 +757,9 @@ elif args.command == 'latest':
     if m:
         tags = m.group(1).split(', ')
         for t in tags:
+            s = t.split()
+            if len(s) > 1:
+                t = s[1]
             if len(t) > 0 and t[0] == 'v':
                 latest = t[1:]
 
@@ -734,18 +768,26 @@ elif args.command == 'latest':
 
 elif args.command == 'test':
     if args.target is None:
-        error('you must specify -t or --target')
+        raise Error('you must specify -t or --target')
 
-    target = target_factory(args.target, args.debug, args.work)
-    project.read_cscript('cscript')
-    target.build(project)
+    target = None
+    try:
+        target = target_factory(args.target, args.debug, args.work)
+        target.test(project)
+    except Error as e:
+        if target is not None:
+            target.cleanup()
+        raise
+        
+    if target is not None:
+        target.cleanup()
 
 elif args.command == 'shell':
     if args.target is None:
-        error('you must specify -t or --target')
+        raise Error('you must specify -t or --target')
 
     target = target_factory(args.target, args.debug, args.work)
     target.command('bash')
 
 else:
-    error('invalid command %s' % args.command)
+    raise Error('invalid command %s' % args.command)