追番必备,动漫角色也可以用人脸识别了

追番必备,动漫角色也可以用人脸识别了机器之心报道作者:小舟用人脸识别找到你「老婆」。自七十年代以来,人脸识别已经成为了计算机视觉和生物识别领域研究最多的主题之一。近年来,传统的人脸识别方法已经被基于卷积神经网络(CNN)的…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

机器之心报道

作者:小舟

用人脸识别找到你「老婆」。

自七十年代以来,人脸识别已经成为了计算机视觉和生物识别领域研究最多的主题之一。近年来,传统的人脸识别方法已经被基于卷积神经网络(CNN)的深度学习方法代替。目前,人脸识别技术广泛应用于安防、商业、金融、智慧自助终端、娱乐等各个领域。而在行业应用强烈需求的推动下,动漫媒体越来越受到关注,动漫人物的人脸识别也成为一个新的研究领域。

动漫形象虽然相对具有标志性,但也不乏相似的动漫形象和场景,毕竟 B 站知名 up 主凉风「一眼识动漫」的技能不常有。

人工不可,那么将人脸识别用于动漫角色识别呢?

近日,来自爱奇艺的一项新研究提出了一个新的基准数据集,名为 iCartoonFace。该数据集由 5013 个动漫角色的 389678 张图像组成,并带有 ID、边界框、姿势和其他辅助属性。iCartoonFace 是目前图像识别领域规模最大的卡通媒体数据集,而且质量高、注释丰富、内容全面,其中包含相似图像、有遮挡的图像以及外观有变化的图像。

追番必备,动漫角色也可以用人脸识别了

论文地址:https://arxiv.org/pdf/1907.13394.pdf

借助半自动标记算法,研究者为动漫媒体提供了两种类型的注释,即面部识别和面部检测。为了进一步研究这个具有挑战性的数据集,研究者提出了一种多任务域适应方法,该方法将人类和动漫域知识与三种判别性正则化结合起来。此外,研究者还对提出的数据集进行了基准分析,并验证了提出的方法在动漫人物人脸识别任务中的优越性。

追番必备,动漫角色也可以用人脸识别了

图 1:iCartoonFace 嵌入示意图。

类似于人脸识别,动漫角色人脸识别中也有一些经典的问题需要处理。

如下图所示,利用 iCartoonFace 数据集可以将相似的动漫脸区分开,识别出是不同的动漫角色:

追番必备,动漫角色也可以用人脸识别了

同一动漫人物,不同视角,能够识别出是同一动漫角色:

追番必备,动漫角色也可以用人脸识别了

即使图片中存在重度遮挡,也能够识别出动漫角色:

追番必备,动漫角色也可以用人脸识别了

此外,两张图片亮度不同,也能够识别出是同一动漫角色:

追番必备,动漫角色也可以用人脸识别了

接下来我们就来看一下这项研究的方法细节。

数据集的构建与分析

半自动整合过程

为了减轻标签负担,研究者开发了一个半自动算法来收集 iCartoonFace 数据集并添加注释。该研究的框架能够分成三个阶段:

  • 分层数据收集

  • 数据过滤过程

  • Q/A 手动注释

1. 分层数据收集

iCartoonFace 数据集是通过分层的方式收集的(从动漫剧集名称到动漫人物名称,最后到动漫人物图像)。该研究首先形成一个面向排行榜的动漫剧集名单。然后根据该名单从互联网上获取主要角色,进而获得动漫人物和相应动漫剧集的列表。下一步从多媒体下载可公开获得的图像,包括图像、漫画书和视频源。研究者以这种方式获得了带有噪声标签的数百万个图像,用于后续的数据过滤过程。

2. 数据过滤

实际上,下载的图像中有大量不相关或重复的数据,这给选择有效数据带来巨大的挑战,尤其是在没有任何先验知识的情况下。因此,该研究借助手动标记的人脸,对无用的样本进行粗略的过滤。换句话说,借用两个已有的人类知识来帮助数据过滤过程,即面部检测过滤和面部识别过滤。

3.Q/A 手动注释

该研究开发了一个 Q/A 系统来手动注释动漫脸的身份信息。如图 2 所示,在注释页面中,一个部分显示参考图像,另一部分显示要标记的图像。注释者需要确定每个新图像是否与参考图像共享相同的标识。参考图像是专家基于动漫人物所属的动漫剧集名称和动漫人物名称提供的身份图片。在该数据集中,包含了 5013 张图片,这意味着每种身份都有一个 probe。

追番必备,动漫角色也可以用人脸识别了

数据集概况

1. 大规模

iCartoonFace 数据集包含了来自 1302 个动漫专辑的 5013 个动漫人物的 389678 张图像。这是目前规模最大的用于动漫人脸识别的手动注释图像数据集。如图 4(a) 所示,该数据集中的动漫人物包括来自日本、中国、欧洲和美国四个国家的动漫人物。

2. 图片数量不均

数据集是自然创建的。50% 的动漫人物只有不到 30 张图片,而有些动漫人物却有大约 500 张图片。

3. 高质量

数据集经过手动标记之后,执行交叉检查方法,二次检查的错误率确保低于 5%。图 4(c) 显示图像的分辨率大于 100 × 100,其中 65% 的图像分辨率超过了 200 × 200。图像的清晰度是通过拉普拉斯度量标准计算的。大多数样本的值如图 4(e) 所示,为了确保图像边界的清晰度和锐度,需要大于 100。

4. 丰富的属性

每个图像都提供了人脸边界框、身份、区域、姿势和性别之类的信息。关于姿势和性别的统计信息如图 4(b) 和图 4(d) 所示。选择随机的 10000 个样本,并用 3D 姿态信息注释。

追番必备,动漫角色也可以用人脸识别了

基于动漫和真人的多人物训练框架

图 5 展示了该研究团队提出的基于动漫和真人的多人物训练框架。该框架主要包括:分类损失、未知身份拒绝损失和域迁移损失。

追番必备,动漫角色也可以用人脸识别了

其中,为了获得分类特征提取器,研究者采用分类损失正则化动漫脸和真人脸分类器,对动漫脸和真人脸进行分类。未知身份拒绝损失旨在找到在不同域之间具有无监督正则化的特征重投影。域适应损失则是为了减小动漫人脸和真人脸之间的域间隙。

实验

在实验部分,研究者提出了 3 个问题并对其进行了解答。

1. 对于动漫脸来说,那种算法是最佳的?

研究者对几种常用算法进行了评估,包括 softmax、SphereFace、CosFace、ArcFace 和 Focal loss,并在下图中可视化了相应的 CMC 曲线。可以看到,ArcFace+FL 在 5 种算法中表现最优。

追番必备,动漫角色也可以用人脸识别了

5 种算法的 CMC 曲线图。

2. 上下文对于动漫脸识别有用吗?

动漫脸是识别动漫角色的主要部分。那如果「脸盲」怎么办?在有些情况下,仅仅依靠动漫角色的人脸不足以区分不同的动漫人物。研究者在动漫脸的基础上进行了不同比例的扩充,下图表明,含有更多的上下文信息能够实现更好的性能。

追番必备,动漫角色也可以用人脸识别了

3. 将人脸识别的知识迁移至动漫脸识别是否有所增益?

第一个经过训练的动漫脸模型的准确率是 91.0%,如下图所示,加入人脸识别的数据后,性能提升至 92.4%,并且对注释过程有所帮助。

追番必备,动漫角色也可以用人脸识别了

追番必备,动漫角色也可以用人脸识别了

欢迎关注我们,看通俗干货

追番必备,动漫角色也可以用人脸识别了

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/172288.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • vue 富文本编辑框_基于vue的富文本编辑器

    vue 富文本编辑框_基于vue的富文本编辑器1、下载插件npmiwangeditor–save插件官网地址:https://www.wangeditor.com/2、封装富文本组件<templatelang=”html”><divclass=”editor”><!–<divref=”toolbar”class=”toolbar”></div>–><divref=”editor”class=”text”></div

  • 在pycharm中配置Anaconda的python工具包_pycharm配置远程解释器

    在pycharm中配置Anaconda的python工具包_pycharm配置远程解释器PyCharm导入Anaconda,进行环境搭建与配置设置;或PyCharm导入Python3.x,进行环境搭建与配置设置。PyCharm配置Anaconda3.0解释器方法如下:本人使用的是Anaconda3+PyCharm,因此是将Anaconda3导进PyCharm,将两者进行配置,搭建环境,进行相关设置。如果你使用的是Python+PyCharm,相关操作类似。首先,新建一个项目文件…

  • 点击按钮,回到页面顶部的5种写法

    点击按钮,回到页面顶部的5种写法1.锚点方式:2.scrollTop:scrollTop属性表示被隐藏在内容区域上方的像素数。元素未滚动时,scrollTop的值为0,如果元素被垂直滚动了,scrollTop的值大于0,且表示元素

  • ArrayList扩容过程

    ArrayList扩容过程#ArrayList动态扩容的全过程。如果通过无参构造的话,初始数组容量为0,当真正对数组进行添加时,才真正分配容量。每次按照1.5倍(位运算)的比率通过copeOf的方式扩容。在JKD1.6中实现是,如果通过无参构造的话,初始数组容量为10,每次通过copeOf的方式扩容后容量为原来的1.5倍例如:数组长度为10,有20个数据要添加,在第10个添加完之后,添加第11个数时,数组扩容为15(…

  • Tess4J 简单使用入门[通俗易懂]

    Tess4J 简单使用入门[通俗易懂]Tesseract-OCR支持中文识别,并且开源和提供全套的训练工具,是快速低成本开发的首选。而Tess4J则是Tesseract在JavaPC上的应用。在英文和数字识别中性能还是不错的,但是在中文识别中,无论速度还是识别率还是较弱,建议有条件的话,针对场景进行训练,会获得较好结果,本文仅对目前Tess4J的用法进行介绍。———————本文来自jian_cheng_90的CSDN博客,全文地址请点击:https://blog.csdn.net/risky

  • 【杂谈】您是以什么姿态来参与讨论、回帖的?

    【杂谈】您是以什么姿态来参与讨论、回帖的?

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号