服务器内核有个调度器，其负责调度两种资源（线程，中断）。调度器针对不同的资源有不同的优先级，下面三个优先级从高到低依次如下：

1. 中断：设备完成操作后通知内核，例如硬件设备受到一个IO请求
2. 系统进程：所有内核操作都在这个级别
3. 用户进程：这些进程一般都运行在用户空间中，其在调度器中优先级比较低

下面分别详细介绍一些关键概念

一，关键概念

1，Context Switches（上下文切换）

现在的CPU大部分在同一颗核上同时只能跑一个线程，就算超线程处理器，微观上看同一时刻也只是跑一个线程。Linux内核看每颗CPU处理器都是独立处理器。一个Linux内核同时可以调度50-50000个线程。在每颗处理器中调度器都需要调度线程合理的使用CPU。每个线程分配了一个时间片的时间使用CPU，一旦时间片用完了或者高优先级资源（例如中断）需要占用CPU，该线程就会放回到调度队列中让高优先级资源使用CPU。这样的线程切换就是所谓的Context Switch（上下文切换）。每发生一次上下文切换资源就会从CPU的使用中挪到调度队列中。一个系统单位之间内上下文切换的次数越多，表明内核进行的工作越繁忙。

2，The run Queue（运行队列）

每个CPU都维护了一个运行队列，理想来讲调度器会一直处于运行和执行线程，这些线程不是处于运行状态就是休眠状态（等待IO或者阻塞）。如果CPU子系统的使用率非常高的情况下，内核调度程序可能跟不上系统的需要。会导致运行队列越来越大，同时一些可运行的线程一直得不到调度。

下面说明下load的概念：

load经常用来描述运行队列的状况。其含义是正在执行的线程个数与运行队列中线程个数的和。例如一个双核系统，现在有两个线程在执行，有4个线程在运行队列。

所以此时load为6。Linux提供了最近1min，5min，15min的统计。

3，CPU的使用率

CPU的使用率是指CPU使用百分比，该指标是系统CPU使用情况重要指标。大部分监控工具提供了如下四个维度的监控

1. User Time（用户时间）：用户空间中的用户态线程使用CPU耗时占整个时间段比例
2. System Time（系统时间）：系统线程（or 进程）使用CPU耗时占整个时间段比例
3. Wait IO：因为等待IO请求空闲时间占整个时间段比例
4. Idle：完全空闲时间占比

二，CPU监控

2.1，健康状态下CPU基准线

1. 单核CPU，load不超过3个task。一般线上机器单核load超过1.5就该引起注意了。
2. User Time不超过65%-70%
3. System Time不超过30%
4. 一般线上情况CPU使用率到80%，就应该加机器，或者想办法优化了。
5. 上线文切换直接相关CPU的使用程度

2.2，vmstat使用

2.2.1 使用办法

vmstat {采样时间间隔,单位为秒}

下面只解释CPU相关的列

in

2.2.2 Case分析

case1：

从这个case可以看出：

1. 当前CPU几乎都完全吃满，同时可运行队列中任务有堆积
2. 系统有在使用swap，情况非常糟糕
3. 内存也非常紧张，可用内存很少
4. 线程上下文切换比中断少很多。猜测是个单线程在工作的样子（需要业务知识验证），如果不是从业务知识下判断
5. 线上服务一般不允许出现这么糟糕的情况

case 2：

从这个case可以得出下面结论：

1. 线程上线文切换相比中断要频繁，内核消耗大量的时间完成上下文切换。
2. CPU负载严重不均衡，用户进程消耗很少的CPU，但是大量的时间都在等待IO
3. 因为CPU在等待IO，导致有些任务被block住了

2.3，mpstat使用

因为现在大多服务器都是多核，可以采用mpstat命令查看每个单核CPU的使用情况

case 1:

参考：

1. Linux调度器详解：https://www.ibm.com/developerworks/cn/linux/l-scheduler/