大家好，又见面了，我是你们的朋友全栈君。

Training Region-based Object Detectors with Online Hard Example Mining

论文链接

  在 two-stage 的目标检测方法中，经过区域生成算法或者网络生成的 region proposals 通常会经过正负样本的筛选和比例平衡后，才送入之后的检测网络进行训练。但是正负样本的定义和训练的比例是需要人为定义的。如果要筛选 hard mining。通常使用的都是 hard negative mining 的方法。但是此方法不适用于 end-to-end 的模型。因为会大大降低模型的训练速度。
  作者观察到传统 hard negative mining 的缺点后，提出了一种 Online Hard Example Mining 的方法。可以自动地选择 had negative 来进行训练，不仅效率高而且性能好。

一、Hard Negative Mining Method

  对于 two-stage 的目标检测方法，我们会先生成很多的 region proposals，然后再放入之后的网络进行训练。但是在这些生成的 region proposals 中，正负样本的比例严重不平衡。极端的情况，假如我们有 99 个负样本和 1 个正样本。我们的网络只用预测所有的样本都为负样本就可以达到 99% 的正确率，所以我们需要对正负样本的数量进行平衡，只选出那些 hard negative 的样本进行训练。

（一）Hard Negative Mining Method 思想

  解决上述问题的传统方法是用 Hard Negative Mining Method 的方法，它的 思想如下：

  对于 hard Negative Mining（困难样本挖掘）可以理解为错题集，你不会把所有的错题都放到错题集中，你会挑出那些你最容易错的题放到错题集中，Hard Negative Mining Method 就是这样。

  首先是 negative，即负样本，其次是 hard，说明是困难样本，也可以说是容易将负样本看成正样本的那些样本，例如 roi 里没有物体，全是背景，这时候分类器很容易正确分类成背景，这个就叫 easy negative；如果 roi 里有二分之一个物体，标签仍是负样本，这时候分类器就容易把他看成正样本，这时候就是 had negative。hard negative mining 就是多找一些 hard negative 加入负样本集，进行训练，这样会比 easy negative 组成的负样本集效果更好。

（二）Hard Negative Mining Method 使用

  通常 使用 Hard Negative Mining Method 的方法为：

  迭代地交替训练，用样本集更新模型，然后再固定模型 来选择分辨错的目标框并加入到样本集中继续训练。传统，我们会使用 SVM + Hard Negative Mining Method 进行训练

（三）Hard Negative Mining Method 缺点

  那么传统的 Hard Negative Mining Method 有什么 缺点 呢？

  Hard Negative Mining Method 很难应用到 end-to-end 的检测模型。 因为 Hard Negative Mining Method 需要迭代训练，如果我们将他使用到 end-to-end 的卷积神经网络，需要每次将网络冻结一段时间用来生成 hard negative。而这对于使用线上优化的算法来说是不可能的，例如 SGD (随机梯度下降算法)。使用 SGD 来训练网络需要上万次更新网络，如果每迭代几次就固定模型一次，这样的速度会慢得不可想象。

  我们可以观察到在 fast rcnn 和 faster rcnn 中都没有用到 Hard Negative Mining Method。这就是因为如上的原因，一般使用 SVM 分类器才能使用此方法（SVM 分类器和 Hard Negative Mining Method 交替训练）

二、OHEM

  我们知道，基于 SVM 的检测器，在训练时，使用 hard example mining 来选择样本需要交替训练，先固定模型，选择样本，然后再用样本集更新模型， 这样反复交替训练直到模型收敛。

  作者认为可以把交替训练的步骤和 SGD 结合起来。之所以可以这样，作者认为虽然 SGD 每迭代一次只用到少量的图片，但每张图片都包含上千个 RoI，可以从中选择 hard examples，这样的策略可以只在一个 mini-batch 中固定模型，因此模型参数是一直在更新的。

  更具体的，在第 t 次迭代时，输入图片到卷积网络中得到特征图，然后把特征图和所有的 RoIs 输入到 RoI 网络中并计算所有 RoIs 的损失，把损失从高到低排序，然后选择 B / N （B 为 Roi 总个数，N 为输入图片个数）个 RoIs。这里有个小问题，位置上相邻的 RoIs 通过 RoI 网络后会输出相近的损失，这样损失就翻倍。作者为了解决这个问题，使用了 NMS(非最大值抑制) 算法，先把损失按高到低排序，然后选择最高的损失，并计算其他 RoI 与这个 RoI 的 IoU (交叉比)，移除 IoU 大于一定阈值的 RoI，然后反复上述流程直到选择了 B/N 个 RoIs。

（一）训练方式

  Fast R-CNN（上图）是使用SGD来优化模型的，每个RoI的损失包括分类损失和回归 损失，其中不断降低分类损失使得模型分类更准确，不断降低回归损失使得 预测标注框更准确。

  SGD是以mini-batch为单位来更新模型的。对于每个mini-batch，先从数据 集中取N张，然后每张图片采样B/N个RoIs

1. Foreground RoIs

  一个RoIs怎样才算作一个目标RoI(也就是含有目标的RoI)呢，在R-CNN, SPPnet, and MR-CNN等把RoI与真实框的交叉比(IOU)大于等于0.5即判定 为目标RoI，在本文中也是这样的设置

2. Background RoIs

  而如果要被判定为背景RoI，则要求该RoI与真实框的交叉比大于等于 bg_lo这个阈值并且小于0.5。虽然这样的设置能加快收敛和检测准确度， 但这样的设置会忽略不怎么出现但又十分重要的比较难分辨的背景。因 此，在本文的OHTM方法中，作者去掉了这样的设置。

3. Balancing fg-bg RoIs

  为了解决目标框和背景框之间的不平衡，Fast R-CNN设置在一个 mini-batch中，它们之间的比例是1：3。作者发现，这样的一个比例对 于Fast R-CNN的性能是十分重要的，增大或者减小这个比例，都会使模 型的性能有所下降，但使用OHEM便可以把这个比例值去掉。

（二）实现方式 1

  直接修改损失层，然后直接进行 hard example selection。损失层计算所有的 RoIs，然后按损失从大到小排序，当然这里有个 NMS(非最大值抑制) 操作，选择 hard RoIs 并 non-hard RoIs 的损失置0。虽然这方法很直接，

  但效率是低下的，不仅要为所有 RoI 分配内存，还要对所有 RoI 进行反向传播，即使有些 RoI 损失为0。

（三）实现方式 2

  对于方法 1 的缺点很明显，我们还有更好的一种实现方式。作者提出了上面这样的架构。这个架构有两个相同的 RoI 网络，不同的是其中一个只可读，另一个可读可写。我们看到(a) 是只可读的，只对所有 RoI 做前向计算，所以只需分配内存给前向计算 操作，(b) 既可读也可写，对被选择的 hard RoIs 不仅做前向计算也做反向传播计算。

  对于一次 SGD 迭代，计算过程如下:先计算出特征图，可读 RoI 网络对所有 RoI 执行前向计算并计算每个 RoI 的损失，然后选择 hard RoIs。把这些 hard RoIs 输入到可读可写的 RoI 网络中执行前向前向计算和反向传播更新网络，并把可读可写的 RoI 网络的参数赋值给只可读的网络，一次迭代就完成了。

  这个方式和第一种方式在内存空间是差不多的，但第二种方式的速度快 了两倍。

参考链接：

https://arxiv.org/pdf/1604.03540.pdf
https://zhuanlan.zhihu.com/p/58162337