cts测试套件下载(4V)

大家好，又见面了，我是你们的朋友全栈君。

目录

• 概述
• 组织case
  
  • CTS框架配置文件
  • 测试case配置文件
  • 启动框架CtsConsole
  • test组件CtsTest
  • 测试类型
• 执行命令
• 总结

1 概述

CTS测试框架是有两个版本的，Android 6.0以及之前的版本都统称为V1版本，7.0以及之后的版本为V2(目前Android版本已经迭代到Android O了，目前还是用的V2框架)，其实两者都是基于基础框架Trade-Federation进行了封装，定义了case的组织方式，不过两个的解析以及组织方式并不一样。
前面已经介绍过了基础框架，可以在运行时注入动态替换组件，CTS测试框架的封装正是通过这种方式，指定了自己的组件，在组件中定义了自己的处理逻辑，主要包括plan的解析，case的组织，case的分类等，这里先介绍V1版本的处理方式，下篇文章介绍V2版本的处理方式。

2 组织case

开始之前首先说明plan的概念：执行CTS测试是以plan为单位的，一个plan是一组测试的集合，不同的plan代表着执行不同的集合中的测试case。就像cts这个plan，就代表要执行所有的CTS测试case。
另外，无论是plan，还是case，包括运行的脚本，都是Google提供的，厂商需要做的就是连接手机，执行命令运行测试生成报告。

2.1 CTS框架配置文件

文件位置:/cts/tools/tradefed-host/res/config/cts.xml

cts.xml:

<configuration  description="Runs a CTS plan from a pre-existing CTS installation">
    <option name="enable-root" value="false" />
    <build_provider class="com.android.cts.tradefed.build.CtsBuildProvider" />
    <device_recovery class="com.android.tradefed.device.WaitDeviceRecovery" />
    <test class="com.android.cts.tradefed.testtype.CtsTest" />
    <logger class="com.android.tradefed.log.FileLogger" />
    <result_reporter class="com.android.cts.tradefed.result.CtsXmlResultReporter" />
    <result_reporter class="com.android.cts.tradefed.result.CtsTestLogReporter" />
    <result_reporter class="com.android.cts.tradefed.result.IssueReporter" />
</configuration>

这个文件中定义的就是CTS测试自己定义的组件的实现类，也就是说框架的运行流程不变，运行时替换文件中的组件，其中有build_provider，test，logger等组件的定义，最重要的还是test组件，因为按照我们前面的分析，其他组件都是为了辅助测试的运行而存在的，而基础框架执行到最后执行的就是预先写好的模板中的setup,run,tearDown方法，这些方法就是test组件中的方法，所以真正执行的真是test组件，也就是CtsTest.java这个类。

2.2 测试case配置文件

按照前面的说法，CTS测试的执行是以plan为单位的，所以既然CtsTest中定义了case的组织，那就有必要先来看看这个plan究竟长什么样子。
注：这个文件是Google提供的测试包中的，由于文件中内容很多，所以这里就列举了一小部分，不过也足以说明了。

<TestPlan version="1.0">
  <Entry name="android.JobScheduler"/>
  <Entry name="android.aadb"/>
  <Entry name="android.acceleration"/>
  <Entry name="android.accessibility"/>
  <Entry name="android.accessibilityservice"/>
  ...
</TestPlan>

看起来这个plan文件中好像也没写，就只是列了一堆类似包名的东西。
其实这个地方的Entry中的name正是它要执行的测试case的appPackageName，可以看下面的android.JobScheduler对应的测试case的xml文件：

<?xml version="1.0" encoding="UTF-8"?>
<TestPackage appNameSpace="android.jobscheduler.cts.deviceside" appPackageName="android.JobScheduler" name="CtsJobSchedulerDeviceTestCases" runner="android.support.test.runner.AndroidJUnitRunner" runtimeHint="0" version="1.0">
<TestSuite name="android">
<TestSuite name="jobscheduler">
<TestSuite name="cts">
<TestCase name="ConnectivityConstraintTest">
<Test name="testAndroidTestCaseSetupProperly" abis="armeabi-v7a, arm64-v8a" />
</TestCase>
<TestCase name="TimingConstraintsTest">
<Test name="testAndroidTestCaseSetupProperly" abis="armeabi-v7a, arm64-v8a" />
</TestCase>
</TestSuite>
</TestSuite>
</TestSuite>
</TestPackage> 

配置文件中的内容更多，这里也只是列了一小部分，说明下结构即可。
最重要的是其中的Test标签，每个标签代表了一条测试。

还有部分测试会有的config文件，这个后面再说，这里先说下结构：

<configuration description="CTS device admin test config">
    <include name="common-config" />
    <option name="run-command:run-command" value="dpm set-active-admin android.deviceadmin.cts/.CtsDeviceAdminReceiver" />
    <option name="run-command:run-command" value="dpm set-active-admin android.deviceadmin.cts/.CtsDeviceAdminReceiver2" />
</configuration>

2.3 启动框架CtsConsole

CTS测试框架代码位置: /cts/tools/tradefed-host/src
CtsConsole.java位置: /cts/tools/tradefed-host/src/com/android/cts/tradefed/command/CtsConsole.java

这里从名称上就可以看出来，正是CTS测试的入口，它是基础框架中的Console的子类，有兴趣可以去看下这个文件中的内容，这里就不做罗列了。
其中的内容很很简单，跟Console类中的main一样，这个地方的main创建了一个CtsConsole对象并开启线程，还有一点，因为是自定义，它还复写了父类的setCustomCommands方法，这样就可以添加自己的命令。

2.4 test组件CtsTest

CtsConsole.java位置: /cts/tools/tradefed-host/src/com/android/cts/tradefed/testtype/CtsTest.java

前面介绍了半天的基础，现在终于进入正戏了，CtsTest这个文件正是test组件，我们也可以看下它类的定义：

public class CtsTest implements IDeviceTest, IResumableTest, IShardableTest, IBuildReceiver

可以看出来，它实现了很多的接口，我们直奔它的run方法即可(方法很长，这里只列出重要的方法)：

public void run(ITestInvocationListener listener) throws DeviceNotAvailableException {
    ...
    // 拿到当前设备支持的abi
    Set<String> abiSet = getAbis();
    ...
    // 这个方法虽然看起来只有一行，但是完成了case的组织
    setupTestPackageList(abiSet);
    ...
    // 获取需要在执行测试需要安装的apk
    Map<String, Set<String>> prerequisiteApks = getPrerequisiteApks(mTestPackageList, abiSet);
    Collection<String> uninstallPackages = getPrerequisitePackageNames(mTestPackageList);

    try {
        // 这一步是收集设备信息，所有的测试case在执行之前都需要
        collectDeviceInfo(getDevice(), mCtsBuild, listener);
        prepareReportLogContainers(getDevice(), mBuildInfo);
        preRebootIfNecessary(mTestPackageList);

        mPrevRebootTime = System.currentTimeMillis();
        int remainingPackageCount = mTestPackageList.size();
        IAbi currentAbi = null;
        // 此时已经拿到了所有的要执行的测试package，遍历
        // 执行一些测试之前的预准备
        for (int i = mLastTestPackageIndex; i < mTestPackageList.size(); i++) {
            TestPackage testPackage = mTestPackageList.get(i);
            if (currentAbi == null ||
                !currentAbi.getName().equals(testPackage.getAbi().getName())) {
                currentAbi = testPackage.getAbi();
                installPrerequisiteApks(
                    prerequisiteApks.get(currentAbi.getName()), currentAbi);
            }
            IRemoteTest test = testPackage.getTestForPackage();
            // 这里就是从pkg中取出test，看它是哪种接口，就执行相应的接口方法
            // 其实就是看测试类型
            if (test instanceof IBuildReceiver) {
                ((IBuildReceiver) test).setBuild(mBuildInfo);
            }
            if (test instanceof IDeviceTest) {
                ((IDeviceTest) test).setDevice(getDevice());
            }
            if (test instanceof DeqpTestRunner) {
                ((DeqpTestRunner)test).setCollectLogs(mCollectDeqpLogs);
            }
            if (test instanceof GeeTest) {
                if (!mPositiveFilters.isEmpty()) {
                    String positivePatterns = join(mPositiveFilters, ":");
                    ((GeeTest)test).setPositiveFilters(positivePatterns);
                }
                if (!mNegativeFilters.isEmpty()) {
                    String negativePatterns = join(mNegativeFilters, ":");
                    ((GeeTest)test).setPositiveFilters(negativePatterns);
                }
            }
            // InstrumentationTest，大多数测试都是这个类型
            // 应该很多人都不陌生
            if (test instanceof InstrumentationTest) {
                if (!mPositiveFilters.isEmpty()) {
                    String annotation = join(mPositiveFilters, ",");
                    ((InstrumentationTest)test).addInstrumentationArg(
                            "annotation", annotation);
                }
                if (!mNegativeFilters.isEmpty()) {
                    String notAnnotation = join(mNegativeFilters, ",");
                    ((InstrumentationTest)test).addInstrumentationArg(
                            "notAnnotation", notAnnotation);
                }
            }
            forwardPackageDetails(testPackage.getPackageDef(), listener);
            try {
                // 重点在这里，执行测试setup,run,teardown
                performPackagePrepareSetup(testPackage.getPackageDef());
                test.run(filterMap.get(testPackage.getPackageDef().getId()));
                performPackagePreparerTearDown(testPackage.getPackageDef());
            } catch (DeviceUnresponsiveException due) {
                // 出异常之后printStackTrace方便分析问题
                ByteArrayOutputStream stack = new ByteArrayOutputStream();
                due.printStackTrace(new PrintWriter(stack, true));
                try {
                    stack.close();
                } catch (IOException ioe) {
                }
                ...
            }
            if (!mSkipConnectivityCheck) {
                MonitoringUtils.checkDeviceConnectivity(getDevice(), listener,
                        String.format("%s-%s", testPackage.getPackageDef().getName(),
                                testPackage.getPackageDef().getAbi().getName()));
            }
            if (i < mTestPackageList.size() - 1) {
                TestPackage nextPackage = mTestPackageList.get(i + 1);
                rebootIfNecessary(testPackage, nextPackage);
                changeToHomeScreen();
            }
            mLastTestPackageIndex = i;
        }
        if (mScreenshot) {
            // 截图
            InputStreamSource screenshotSource = getDevice().getScreenshot();
            try {
                listener.testLog("screenshot", LogDataType.PNG, screenshotSource);
            } finally {
                screenshotSource.cancel();
            }
        }
        // 卸载之前预先安装上去的apk
        uninstallPrequisiteApks(uninstallPackages);
        // 收集log信息
        collectReportLogs(getDevice(), mBuildInfo);
    } catch (RuntimeException e) {
        CLog.e(e);
        throw e;
    } catch (Error e) {
        CLog.e(e);
        throw e;
    } finally {
        for (ResultFilter filter : filterMap.values()) {
            filter.reportUnexecutedTests();
        }
    }
}

2.4.1 getAbis

去获取手机中的ro.product.cpu.abilist这个property：
找了个手机测试了下：[ro.product.cpu.abilist]: [arm64-v8a,armeabi-v7a,armeabi]

Set<String> getAbis() throws DeviceNotAvailableException {
    String bitness = (mForceAbi == null) ? "" : mForceAbi;
    Set<String> abis = new HashSet<>();
    for (String abi : AbiFormatter.getSupportedAbis(mDevice, bitness)) {
        if (AbiUtils.isAbiSupportedByCompatibility(abi)) {
            abis.add(abi);
        }
    }
    return abis;
}

private static final String PRODUCT_CPU_ABILIST_KEY = "ro.product.cpu.abilist";
private static final String PRODUCT_CPU_ABI_KEY = "ro.product.cpu.abi";

public static String[] getSupportedAbis(ITestDevice device, String bitness)
        throws DeviceNotAvailableException {
    // 获取property
    String abiList = device.getProperty(PRODUCT_CPU_ABILIST_KEY + bitness);
    if (abiList != null && !abiList.isEmpty()) {
        String []abis = abiList.split(",");
        if (abis.length > 0) {
             return abis;
         }
     }
     // fallback plan for before lmp, the bitness is ignored
     return new String[]{device.getProperty(PRODUCT_CPU_ABI_KEY)};
 }

2.4.2 setupTestPackageList

private void setupTestPackageList(Set<String> abis) throws DeviceNotAvailableException {
    try {
        // 这行代码中解析了plan文件
        // 并拿到了配置文件中的所有的package
        // 又对所有的package进行了xml解析封装成对象
        ITestPackageRepo testRepo = createTestCaseRepo();
        List<ITestPackageDef> testPkgDefs = new ArrayList<>(getAvailableTestPackages(testRepo));
        testPkgDefs = filterByAbi(testPkgDefs, abis);
        Collections.sort(testPkgDefs);
        // 前面xml解析后封装成的TestPackageDef，转变为test
        List<TestPackage> testPackageList = new ArrayList<>();
        for (ITestPackageDef testPackageDef : testPkgDefs) {
            IRemoteTest testForPackage = testPackageDef.createTest(mCtsBuild.getTestCasesDir());
            if (testPackageDef.getTests().size() > 0) {
                testPackageList.add(new TestPackage(testPackageDef, testForPackage));
            }
        }
        ...
    }
}

2.4.3 createTestCaseRepo

可以说整个case组织的重点就在这一个方法中，重点分析

ITestPackageRepo createTestCaseRepo() {
    return new TestPackageRepo(mCtsBuild.getTestCasesDir(), mIncludeKnownFailures);
}
public TestPackageRepo(File testCaseDir, boolean includeKnownFailures) {
    mTestMap = new HashMap<>();
    mIncludeKnownFailures = includeKnownFailures;
    // 重点在这里，也就是说在TestCaseRepo创建的时候
    // 就已经把testDir已经解析完毕了
    // 已经把所有的xml中配置的测试case都装进了内存
    parse(testCaseDir);
}

parse中对测试目录的所有的.xml文件进行了遍历，并对每个xml文件进行解析以及封装：

private void parseModuleTestConfigs(File xmlFile)  {
    TestPackageXmlParser parser = new TestPackageXmlParser(mIncludeKnownFailures);
    try {
        // 这个都不陌生了，sax解析
        // 具体的解析逻辑在TestPackageXmlParser中
        parser.parse(createStreamFromFile(xmlFile));
        // 对这个xml同名称的.config文件解析
        // 如果存在的话，会把其中配置的内容拿出来，在执行这条测试之前执行
        // 大部分是执行这条测试需要预先执行的命令
        File preparer = getPreparerDefForPackage(xmlFile);
        IConfiguration config = null;
        if (preparer != null) {
            try {
                config = ConfigurationFactory.getInstance().createConfigurationFromArgs(
                        new String[]{preparer.getAbsolutePath()});
            } catch (ConfigurationException e) {
                throw new RuntimeException(
                        String.format("error parsing config file: %s", xmlFile.getName()), e);
            }
        }
        // 拿到在这个xml文件中解析出来的要执行的TestPackageDef
        // 一个TestPackageDef就是上面的一个xml文件
        Set<TestPackageDef> defs = parser.getTestPackageDefs();
        if (defs.isEmpty()) {
            Log.w(LOG_TAG, String.format("Could not find test package info in xml file %s",
                    xmlFile.getAbsolutePath()));
        }
        for (TestPackageDef def : defs) {
            String name = def.getAppPackageName();
            String abi = def.getAbi().getName();
            if (config != null) {
                // 把config文件中需要执行的prepare操作记录下来
                def.setPackagePreparers(config.getTargetPreparers());
            }
            // mTestMap是一个全局的大map
            // 一级key是abi，二级key是测试的packageName，value是TestPackageDef对象
            if (!mTestMap.containsKey(abi)) {
                mTestMap.put(abi, new HashMap<String, TestPackageDef>());
            }
            // 放入全局map
            mTestMap.get(abi).put(name, def);
        }
    } catch (FileNotFoundException e) {
        Log.e(LOG_TAG, String.format("Could not find test case xml file %s",
                xmlFile.getAbsolutePath()));
        Log.e(LOG_TAG, e);
    } catch (ParseException e) {
        Log.e(LOG_TAG, String.format("Failed to parse test case xml file %s",
                xmlFile.getAbsolutePath()));
        Log.e(LOG_TAG, e);
    }
}

经过了这一步，我们可以总结出来：在createTestCaseRepo一步中：

• 创建了TestCaseRepo
• 对测试case所在的目录中所有的配置文件进行了xml解析
• 每个xml文件中的Test标签都代表一条测试，每个xml文件对应一个TestPackageDef
• 对需要prepare操作的package还进行了config的解析
• 把所有的xml文件解析完毕之后，放到了一个二级全局map中
• 不同的abi执行的测试完全是两个集合

2.4.4 getAvailableTestPackages

经过前面一步，已经拿到了所有的测试package的集合。
getAvailableTestPackages中的方法很长，这里只说明一下比较重要的部分：

Set<ITestPackageDef> testPkgDefs = new LinkedHashSet<>();
if (mPlanName != null) {
    // 拿到plan文件
    File ctsPlanFile = mCtsBuild.getTestPlanFile(mPlanName);
    ITestPlan plan = createPlan(mPlanName);
    // 又是xml文件的解析，不过这次是plan文件
    plan.parse(createXmlStream(ctsPlanFile));
    // 这个testId是abi以及packagename拼接的字符串
    // 分开之后就可以去上面的全局map获取testPackageDef
    for (String testId : plan.getTestIds()) {
        if (mExcludedPackageNames.contains(AbiUtils.parseTestName(testId))) {
            continue;
        }
        ITestPackageDef testPackageDef = testRepo.getTestPackage(testId);
        if (testPackageDef == null) {
            continue;
        }
        // 去上面的全局测试package中获取
        testPackageDef.setTestFilter(plan.getTestFilter(testId));
        // 把这个plan中所有需要执行的测试testPackageDef取出来
        testPkgDefs.add(testPackageDef);
    }
}

前面既然已经拿到了所有的可执行的测试case的全局map，这个地方就是根据测试的plan，根据plan中配置的packageName以及abi去全局map中获取这个plan中需要执行的测试case，然后组成一个list。

小结：上面分析了这么多，在CtsTest的run方法中其实就是一行代码setupTestPackageList(abiSet);经过了这行代码，已经测试目录下所有配置的xml文件解析完毕，并且根据本次测试的plan文件拿到了这个plan中要执行的测试case的list。

可能大脑堆栈有点深了，现在再回到run方法中继续：

2.4.5 runTest

run方法中虽然还有一些其他的方法，但基本都是针对测试之前的预处理了，包括getPrerequisiteApks，collectDeviceInfo，prepareReportLogContainers等，这里就不一一列出其实现了，有兴趣可以自己去看，最重要的测试case的组织已经介绍过了。

performPackagePrepareSetup(testPackage.getPackageDef());
test.run(filterMap.get(testPackage.getPackageDef().getId()));
performPackagePreparerTearDown(testPackage.getPackageDef());

这里就是测试case了，也就是说CTS测试框架在基础框架的基础上进行了一系列的封装，在test组件中做的就是把测试case组织了以下以及plan的生成，最终还是又提供了测试模板方法。

2.5 测试类型

测试case有很多种类型，因此在上面的配置文件封装成对象之后还有最重要的一步就是：TestPackageDef.createTest。
这里不列代码了，主要说明下测试类型：
测试一共有八种类型：

hostSideOnly：主要在主机端完成，测试代码通过jar包的方式提供，通过反射调用，测试内容主要是可以通过adb命令直接完成，比如install或push文件等。
native：测试包中推提供可运行文件，名称是测试的包名，测试时先将可执行文件push到手机上，然后赋予权限并执行。
wrappednative：目前只有一个opengl的测试是这个类型，是通过instrument来执行测试的，先安装apk，然后”am instrument -w xxx”命令来执行测试。
vmHostTest：这个类型目前也只有android.core.vm-tests-tf这一个测试，也是通过jar包的方式提供case，然后push到手机中通过junit测试。
deqpTest：通过am instrument来执行
uiAutomator：目前只有CtsUiAutomatorTests是这种方式，先将jar包推送到手机中然后通过am instrument的方式运行测试。
jUnitDeviceTest：目前只有CtsJdwp这个使用这个，也是通过jar包的方式提供，然后在手机中运行运行jar包。
CtsInstrumentationApkTest（默认测试类型）：先安装apk，然后instrument来调用测试case。

3 执行测试

上面已经说明了详细的测试种类，大致执行方式上面也已经列出了。
对于hostside以及clientTest两种其实都需要手机与PC之前的通信，那么具体的通信细节是怎么实现的呢？
这就全靠我们都常用却忽视的一个jar包：ddmslib。可以去Google网站下下载源码，也可以直接反编译现有的jar包。
个人也没有研究太多，这里先列一些主要代码的实现逻辑，后面再详细研究：
原理就是直接通过socket跟adbd通信
AndroidDebugBridge

// Where to find the ADB bridge.
static final String ADB_HOST = "127.0.0.1";
static final int ADB_PORT = 5037;

private static void initAdbSocketAddr() {
    try {
        int adb_port = determineAndValidateAdbPort();
        sHostAddr = InetAddress.getByName(ADB_HOST);
        sSocketAddr = new InetSocketAddress(sHostAddr, adb_port);
    } catch (UnknownHostException e) {
        // localhost should always be known.
    }
}

提供命令的执行的封装：AdbHelper

static void executeRemoteCommand(InetSocketAddress adbSockAddr,
    String command, IDevice device, IShellOutputReceiver rcvr, long maxTimeToOutputResponse,
    TimeUnit maxTimeUnits) throws TimeoutException, AdbCommandRejectedException,
    ShellCommandUnresponsiveException, IOException {
    ...
    SocketChannel adbChan = null;
    try {
        adbChan = SocketChannel.open(adbSockAddr);
        adbChan.configureBlocking(false);

        // if the device is not -1, then we first tell adb we're looking to
        // talk
        // to a specific device
        setDevice(adbChan, device);
        byte[] request = formAdbRequest("shell:" + command); 
        write(adbChan, request);
        // 写入要执行的命令请求
        write(adbChan, request);
        AdbResponse resp = readAdbResponse(adbChan, false /* readDiagString */);
        if (!resp.okay) {
            Log.e("ddms", "ADB rejected shell command (" + command + "): " + resp.message);
            throw new AdbCommandRejectedException(resp.message);
        }
        byte[] data = new byte[16384];
        ByteBuffer buf = ByteBuffer.wrap(data);
        long timeToResponseCount = 0;
        while (true) {
            int count;
            if (rcvr != null && rcvr.isCancelled()) {
                Log.v("ddms", "execute: cancelled");
                break;
            }
            // 读取数据
            count = adbChan.read(buf);
            if (count < 0) {
                // we're at the end, we flush the output
                rcvr.flush();
                        + count);
                break;
            } else if (count == 0) {
                try {
                    int wait = WAIT_TIME * 5;
                    timeToResponseCount += wait;
                    if (maxTimeToOutputMs > 0 && timeToResponseCount > maxTimeToOutputMs) {
                        throw new ShellCommandUnresponsiveException();
                    }
                    Thread.sleep(wait);
                } catch (InterruptedException ie) {
                }
            } else {
                timeToResponseCount = 0;
                // send data to receiver if present
                if (rcvr != null) {
                    rcvr.addOutput(buf.array(), buf.arrayOffset(), buf.position());
                }
                buf.rewind();
            }
        }
    } finally {
        if (adbChan != null) {
            adbChan.close();
        }
        Log.v("ddms", "execute: returning");
    }
}

只要是PC跟Android设备之间的通信，基本都是基于adb的，前面提到的各种测试的基础都是跟adbd之间的socket通信完成的。

总结

CTS测试框架在基础框架的基础上虽然修改的东西还是不少，但是可以看出来其实还是组件中内容的自定义，整体的基础框架的执行流程并没有变化。最重要的就是其中对于case的组织，提供各种xml文件以及plan去组织case。能把几十万条case都组织起来，说明这个框架也确实强大，但是缺点也很明显，随着测试Android的不断迭代，case越来越多，不仅仅是plan需要修改，xml文件也需要不断的增加，维护起来工作量会越来越大。因此就有了更加好用的V2版本。

下篇文章介绍V2版本。