大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。
Jetbrains全家桶1年46,售后保障稳定
在已有模型上finetune自己的数据训练一个模型
1、准备训练数据和测试数据
2、制作标签
3、数据转换,将图片转为LMDB格式
前三步的过程和 如何利用自己的数据训练一个分类网络 是一样的,参考处理即可。
4、修改网络模型文件
复制/caffe-root/models/finetune_flickr_style文件夹下面的deploy.prototxt readme.md solver.prototxt train_val.prototxt四个文件到自己的finetune项目根目录/caffe-root/models/finetune_test/下
vim train_val.prototxt
- 修改train_val.prototxt中的数据层,设置成caffeNet中的train_val.prototxt一样,使用lmdb输入数据。
layer { name: "data" type: "Data" top: "data" top: "label" include { phase: TRAIN }
transform_param { crop_size: 227 # 传入的图片是256*256,现在在其中框出一个227*227的小图片 以此来增大训练集 mean_value: 104 # 通用均值 mean_value: 117 mean_value: 123 mirror: true # 镜像操作 扩大数据集 }
data_param { source: "/home/weijian/caffe/models/classification_CNN/lmdb/train" batch_size: 100 backend: LMDB }
}
layer { name: "data" type: "Data" top: "data" top: "label" include { phase: TEST }
transform_param { crop_size: 227 mean_value: 104 mean_value: 117 mean_value: 123 mirror: false }
data_param { source: "/home/weijian/caffe/models/classification_CNN/lmdb/test" batch_size: 50 backend: LMDB }
}
- 修改最后的一个全连接层fc8_flickr,finetune的目的是重塑最后这个全连接层fc8_flickr,其他层的参数不变。
layer { name: "fc8_flickr" # 原网络结构文件中,最后的一层就是fc8,我们在这里希望自行设计最后一层,所以我们齐了另外一个名字fc8_flickr,如果还是继续沿用fc8这个名字,就会造成finetune的时候,以前caffemodel里面的参数和权值直接填充进去。 type: "InnerProduct" bottom: "fc7" top: "fc8_flickr" # lr_mult is set to higher than for other layers, because this layer is starting from random while the others are already trained param { lr_mult: 10 # 基本学习率乘以10 decay_mult: 1 }
param { lr_mult: 20 decay_mult: 0 }
inner_product_param { num_output: 5 # 这里根据实际情况,有几种数据,就改成几。因为有house、flower、animal、guitar、plane五种数据,所以改成了5。 weight_filler { type: "gaussian" std: 0.01 }
bias_filler { type: "constant" value: 0 }
}
}
注意,这个fc8_flickr层下面的Accuracy层的bottom是fc8_flickr。
vim deploy.prototxt
layer { name: "fc8_flickr" type: "InnerProduct" bottom: "fc7" top: "fc8_flickr" # lr_mult is set to higher than for other layers, because this layer is starting from random while the others are already trained param { lr_mult: 10 decay_mult: 1 }
param { lr_mult: 20 decay_mult: 0 }
inner_product_param { num_output: 5 # 这里只是修改num_output为5即可。 weight_filler { type: "gaussian" std: 0.01 }
bias_filler { type: "constant" value: 0 }
}
}
5、修改超参数文件
修改net为刚刚我们修改的那个train_val.prototxt
还需要修改test_iter、test_interval、snapshot_prefix、solver_mode、type等内容
因为是在做微调,所以设置base_lr很小,仅为0.001。
net: "/home/weijian/caffe/models/finetune_test/train_val.prototxt"
test_iter: 30
test_interval: 250
# lr for fine-tuning should be lower than when starting from scratch
base_lr: 0.001
lr_policy: "step"
gamma: 0.1
# stepsize should also be lower, as we're closer to being done
stepsize: 1000 每1000的迭代降低学习率:乘以gamma
display: 100
max_iter: 150000
momentum: 0.9
weight_decay: 0.0005
snapshot: 5000
snapshot_prefix: "/home/weijian/caffe/models/finetune_flickr_style/models/type"
# uncomment the following to default to CPU mode solving
type: "AdaDelta"
solver_mode: GPU
6、训练模型
vim train.sh
#!/usr/bin/env sh
set -e
log_path="logs/"
mkdir -p $log_path
save_model_path="caffemodel/"
mkdir -p $save_model_path
# training log
file_prefix="classification_CNN"
log_file=$(date -d "today" +"%Y-%m-%d-%H:%M:%S")
log_file=$log_path$file_prefix$log_file".log"
# caffe execute file path
caffe_bin="/home/weijian/caffe/build/tools/caffe"
# finetune
$caffe_bin train --solver=solver.prototxt --weights=bvlc_reference_caffenet.caffemodel 2>&1 | tee ./logs/finetune_test.log
7、测试
修改以下部分,其余和 这里 一样。
#网络结构描述文件
deploy_file = caffe_root+'models/finetune_test/deploy.prototxt'
#训练好的模型
model_file = caffe_root+'models/finetune_test/models/solver_iter_15000.caffemodel'
finetune的好处
- 如果我们想自己训练一个效果较好的模型,需要大量的数据,非常优秀的硬件条件,以及漫长的训练时间,但是,我们可以利用现有的caffemodel模型训练利用较少的数据训练一个效果较好的模型。
发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/234264.html原文链接:https://javaforall.cn
【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛
【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...