如何正确的理解RPN网络的train和test[通俗易懂]

如何正确的理解RPN网络的train和test[通俗易懂]刚开始学FasterRCNN时,遇到这么一个困惑不知其他人有没有:RPN网络在程序中的训练是如何进行的?它都训练了网络中的哪些部分?其实这些我们如果不看源码都很难真正理解!我们以Faster-RCNN_TF的源码为例,以下代码取自./lib/networks/VGGnet_train.py#=========RPN============#以下代码的先后顺序我调整了一下,便…

大家好,又见面了,我是你们的朋友全栈君。

刚开始学Faster RCNN时,遇到些困惑不知其他人有没有:

1、RPN网络训练的输出是什么?
2、RPN网络在train中的作用是什么?
3、RPN网络在test中的作用是什么?
其实这些我们如果不看源码都很难真正理解!

以Faster-RCNN_TF的源码为例,以下代码取自./lib/networks/VGGnet_train.py

 #========= RPN ============
 #以下代码的先后顺序我调整了一下,便于理解
 (self.feed('conv5_3')
     .conv(3,3,512,1,1,name='rpn_conv/3x3')
     .conv(1,1,len(anchor_scales)*3*2 ,1 , 1, padding='VALID', relu = False, name='rpn_cls_score'))

 (self.feed('rpn_conv/3x3')
     .conv(1,1,len(anchor_scales)*3*4, 1, 1, padding='VALID', relu = False, name='rpn_bbox_pred'))
     .anchor_target_layer(_feat_stride, anchor_scales, name = 'rpn-data' ))

重点

anchor_target_layer的返回值’rpn-data’,这是一个字典
key分别是:rpn_labels, rpn_bbox_targets, rpn_bbox_inside_weights, rpn_bbox_outside_weights

rpn_labels
是 [1,1,A*height,width],如果把它reshape成[1,A,height,width]会更好理解,即feature map上每一点
都是一个anchor,每个anchor对应A个bbox,如果一个bbox与gt_box的重叠度大于0.7(其实还有一个条件),就认为这个bbox包含一个前景,则
rpn_labels 矩阵中相应位置就设置为1。
gt_box的label不能直接用来做训练的目标(target),在训练中使用rpn_labels作为训练的目标
gt_box的唯一作用就在于判断产生的共A*W*H个bbox哪些属于前景,哪些不属于,将那些属于前景的bbox设置为训练目标去训练rpn_cls_score_reshape。
在test中,正好相反,训练好的网络会产生一个rpn_cls_score_reshape,它可以转化成一个[1,A,height,width]的矩阵
#proposal_layer 产生的[1,A,height,width]个bbox哪些属于前景,哪些属于背景。我们会把属于前景的挑出来,
按照得分排序,取前300个输入后面的fc层,fc层会产生两个输出:
一个是cls_score,用于判断bbox中物体的类型
另一个是bbox_pred,用于微调bbox,使其向gt_box进一步靠近(由于bbox都是从anchor产生的,他们不会和gt_box重合,还需要进一步微调)

rpn_bbox_targets
根据 rpn_labels 我们已经可以挑选出300个bbox,这些bbox都是在[1,W,H,A*4]中根据与gt_box的重合程度挑选出来的,与gt_box并不相同,有一些偏差,这些偏差表示为[dx,dy,dw,dh],这就是rpn_bbox_targets。
因为传进后面全卷积网络的是bbox,与gt_boxes不完全重合,为了使最终的结果更加接近gt_box,还需要进一步微调
而全卷积层的输出bbox_pred就是用于微调的,rpn_bbox_targets就是它训练的目标(target)
损失函数的计算:

# RPN
# classification loss
rpn_cls_score = tf.reshape(self.net.get_output('rpn_cls_score_reshape'),[-1,2])
rpn_label = tf.reshape(self.net.get_output('rpn-data')[0],[-1])
rpn_cls_score = tf.reshape(tf.gather(rpn_cls_score,tf.where(tf.not_equal(rpn_label,-1))),[-1,2])
rpn_label = tf.reshape(tf.gather(rpn_label,tf.where(tf.not_equal(rpn_label,-1))),[-1])
rpn_cross_entropy = tf.reduce_mean(tf.nn.sparse_softmax_cross_entropy_with_logits(logits=rpn_cls_score, labels=rpn_label))

# bounding box regression L1 loss
rpn_bbox_pred = self.net.get_output('rpn_bbox_pred')
rpn_bbox_targets = tf.transpose(self.net.get_output('rpn-data')[1],[0,2,3,1])
rpn_bbox_inside_weights = tf.transpose(self.net.get_output('rpn-data')[2],[0,2,3,1])
rpn_bbox_outside_weights = tf.transpose(self.net.get_output('rpn-data')[3],[0,2,3,1])

rpn_smooth_l1 = self._modified_smooth_l1(3.0, rpn_bbox_pred, rpn_bbox_targets, rpn_bbox_inside_weights, rpn_bbox_outside_weights)
rpn_loss_box = tf.reduce_mean(tf.reduce_sum(rpn_smooth_l1, reduction_indices=[1, 2, 3]))

其余代码:

# Loss of rpn_cls & rpn_boxes

(self.feed('rpn_conv/3x3')
     .conv(1,1,len(anchor_scales)*3*4, 1, 1, padding='VALID', relu = False, name='rpn_bbox_pred'))

#========= RoI Proposal ============
(self.feed('rpn_cls_score')
     .reshape_layer(2,name = 'rpn_cls_score_reshape')
     .softmax(name='rpn_cls_prob'))

(self.feed('rpn_cls_prob')
     .reshape_layer(len(anchor_scales)*3*2,name = 'rpn_cls_prob_reshape'))

(self.feed('rpn_cls_prob_reshape','rpn_bbox_pred','im_info')
     .proposal_layer(_feat_stride, anchor_scales, 'TRAIN',name = 'rpn_rois'))

(self.feed('rpn_rois','gt_boxes')
     .proposal_target_layer(n_classes,name = 'roi-data'))


#========= RCNN ============
(self.feed('conv5_3', 'roi-data')
     .roi_pool(7, 7, 1.0/16, name='pool_5')
     .fc(4096, name='fc6')
     .dropout(0.5, name='drop6')
     .fc(4096, name='fc7')
     .dropout(0.5, name='drop7')
     .fc(n_classes, relu=False, name='cls_score')
     .softmax(name='cls_prob'))

(self.feed('drop7')
     .fc(n_classes*4, relu=False, name='bbox_pred'))
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/152315.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • postman调用rpc接口_postman测试本地接口

    postman调用rpc接口_postman测试本地接口一般使用的接口类型都是http协议传输,第一次遇到RPC类型,使用postman进行测试。请求方式get或者post并不影响,URL是在域名后面加了/rpc,例如,https://www.baidu.com/rpcheaders:写了常规请求时的内容(头为空也不影响)body选择raw,{“jsonrpc”:“2.0”,“method”:“eth_getBalance”,“para…

    2022年10月10日
  • bootstrap 模态窗和datepicker搭配,清空form问题

    bootstrap模态窗和datepicker搭配,清空form问题

  • 迭代器Python_Python进阶

    迭代器Python_Python进阶迭代器迭代是访问集合元素的一种方式。迭代器是一个可以记住遍历的位置的对象。迭代器对象从集合的第一个元素开始访问,直到所有的元素被访问完结束。迭代器只能往前不会后退。可迭代对象我们已经知道可以对l

  • 状态机/流程引擎/审批流的流程引擎/结合低代码开发的流程引擎 区别 业务系统中使用流程引擎「建议收藏」

    状态机/流程引擎/审批流的流程引擎/结合低代码开发的流程引擎 区别 业务系统中使用流程引擎「建议收藏」业务中利用流程引擎可以解耦.但坏处是有一天流程引擎无法满足新功能的时候,开发工作量比较大.有遇到过一个特殊的case.乘客和司机,垫付场景.本来,乘客支付后分润给司机.两个行为时顺序的.后续变更,新增平台垫付.乘客支付和司机垫付两个行为即不是平行的,也不是互斥的,乘客支付排斥垫付,但是垫付不排斥乘客支付,且要对乘客支付进行延迟判断.业务逻辑

    2022年10月20日
  • c语言中putchar的用法举例_putchar和getchar

    c语言中putchar的用法举例_putchar和getcharC语言中getchar()和putchar()的用法getchar()和putchar()是一对字符输入/输出函数.getchar()不带任何参数,他从输入序列中返回下一个字符。例如,下面的语句读取下一个字符输入,并把该字符的值赋给变量ch:ch=getcha();putchar()函数打印它的参数。例如,下面的语句把之前赋给ch的值作为字符打印出来:putchar(ch);由于这两个函数只处理字符,所以他们通常比scanf()和printf()函数更快更便捷。而且,ge

    2022年10月18日
  • Java学习之jackson篇

    Java学习之jackson篇0x00前言本篇内容比较简单,简单记录。0x01Json概述概述:JSON(JavaScriptObjectNotation,JS对象简谱)是一种

    2021年12月12日

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号