大家好,又见面了,我是你们的朋友全栈君。
Tensorflow和Caffe等深度学习中,监督学习的数据标注是一件非常繁琐和耗时的工作,目前大多数公司都采用外包给标注公司进行处理,或者购买现有的数据集,使得进行深度学习研究的成本异常高。本文介绍一种以人工智能解决数据标注的思路和方法。
一、思路
步骤:
1、以一个初步模型对小批量待标注数据进行检测,这里的初步模型可以是自己用少批量数据集训练出来的,也可以用网上公布的;
2、对检测出来的结果进行人为干预纠正;
3、把纠正后的数据训练新的模型;
4、用新模型对中等批量待测数据进行检测;
5、通过1~5步骤的循环迭代,可以逐步求精;
6、虽然也需要人工参与,但可以极大减少工作量。
实现方法:
1、Anno-Mage
Anno-Mage是一个半自动标注工具,通过一个通用模型对数据集进行检测。但这个工具能标注的物品类型有限,也没有模型迭代逐步求精的过程,可以自行对其源码进行修改优化。
github代码地址:https://github.com/virajmavani/semi-auto-image-annotation-tool
2、easyDL智能标注
2.1、智能标注
百度easyDL提供了智能标注的功能,跟以上思路差不多,都是先对小批量数据进行标注学习训练,然后以学习结果去标注剩下的数据集,然后人工纠正,迭代求精。
easyDL平台网址:https://ai.baidu.com/easydl/lite
智能检测技术文档:https://ai.baidu.com/ai-doc/EASYDL/lk38n327g
2.2、数据导出
但easyDL官方不提供数据导出功能和api,这阻碍了我们把数据拿到Tensorflow和Caffe进行训练。所以我们可以通过爬虫技术来爬取训练好的数据。
工具github地址:https://github.com/kooky126/easydl2labelImg
发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/147820.html原文链接:https://javaforall.cn
【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛
【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...