追番必备,动漫角色也可以用人脸识别了

追番必备,动漫角色也可以用人脸识别了机器之心报道作者:小舟用人脸识别找到你「老婆」。自七十年代以来,人脸识别已经成为了计算机视觉和生物识别领域研究最多的主题之一。近年来,传统的人脸识别方法已经被基于卷积神经网络(CNN)的…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

机器之心报道

作者:小舟

用人脸识别找到你「老婆」。

自七十年代以来,人脸识别已经成为了计算机视觉和生物识别领域研究最多的主题之一。近年来,传统的人脸识别方法已经被基于卷积神经网络(CNN)的深度学习方法代替。目前,人脸识别技术广泛应用于安防、商业、金融、智慧自助终端、娱乐等各个领域。而在行业应用强烈需求的推动下,动漫媒体越来越受到关注,动漫人物的人脸识别也成为一个新的研究领域。

动漫形象虽然相对具有标志性,但也不乏相似的动漫形象和场景,毕竟 B 站知名 up 主凉风「一眼识动漫」的技能不常有。

人工不可,那么将人脸识别用于动漫角色识别呢?

近日,来自爱奇艺的一项新研究提出了一个新的基准数据集,名为 iCartoonFace。该数据集由 5013 个动漫角色的 389678 张图像组成,并带有 ID、边界框、姿势和其他辅助属性。iCartoonFace 是目前图像识别领域规模最大的卡通媒体数据集,而且质量高、注释丰富、内容全面,其中包含相似图像、有遮挡的图像以及外观有变化的图像。

追番必备,动漫角色也可以用人脸识别了

论文地址:https://arxiv.org/pdf/1907.13394.pdf

借助半自动标记算法,研究者为动漫媒体提供了两种类型的注释,即面部识别和面部检测。为了进一步研究这个具有挑战性的数据集,研究者提出了一种多任务域适应方法,该方法将人类和动漫域知识与三种判别性正则化结合起来。此外,研究者还对提出的数据集进行了基准分析,并验证了提出的方法在动漫人物人脸识别任务中的优越性。

追番必备,动漫角色也可以用人脸识别了

图 1:iCartoonFace 嵌入示意图。

类似于人脸识别,动漫角色人脸识别中也有一些经典的问题需要处理。

如下图所示,利用 iCartoonFace 数据集可以将相似的动漫脸区分开,识别出是不同的动漫角色:

追番必备,动漫角色也可以用人脸识别了

同一动漫人物,不同视角,能够识别出是同一动漫角色:

追番必备,动漫角色也可以用人脸识别了

即使图片中存在重度遮挡,也能够识别出动漫角色:

追番必备,动漫角色也可以用人脸识别了

此外,两张图片亮度不同,也能够识别出是同一动漫角色:

追番必备,动漫角色也可以用人脸识别了

接下来我们就来看一下这项研究的方法细节。

数据集的构建与分析

半自动整合过程

为了减轻标签负担,研究者开发了一个半自动算法来收集 iCartoonFace 数据集并添加注释。该研究的框架能够分成三个阶段:

  • 分层数据收集

  • 数据过滤过程

  • Q/A 手动注释

1. 分层数据收集

iCartoonFace 数据集是通过分层的方式收集的(从动漫剧集名称到动漫人物名称,最后到动漫人物图像)。该研究首先形成一个面向排行榜的动漫剧集名单。然后根据该名单从互联网上获取主要角色,进而获得动漫人物和相应动漫剧集的列表。下一步从多媒体下载可公开获得的图像,包括图像、漫画书和视频源。研究者以这种方式获得了带有噪声标签的数百万个图像,用于后续的数据过滤过程。

2. 数据过滤

实际上,下载的图像中有大量不相关或重复的数据,这给选择有效数据带来巨大的挑战,尤其是在没有任何先验知识的情况下。因此,该研究借助手动标记的人脸,对无用的样本进行粗略的过滤。换句话说,借用两个已有的人类知识来帮助数据过滤过程,即面部检测过滤和面部识别过滤。

3.Q/A 手动注释

该研究开发了一个 Q/A 系统来手动注释动漫脸的身份信息。如图 2 所示,在注释页面中,一个部分显示参考图像,另一部分显示要标记的图像。注释者需要确定每个新图像是否与参考图像共享相同的标识。参考图像是专家基于动漫人物所属的动漫剧集名称和动漫人物名称提供的身份图片。在该数据集中,包含了 5013 张图片,这意味着每种身份都有一个 probe。

追番必备,动漫角色也可以用人脸识别了

数据集概况

1. 大规模

iCartoonFace 数据集包含了来自 1302 个动漫专辑的 5013 个动漫人物的 389678 张图像。这是目前规模最大的用于动漫人脸识别的手动注释图像数据集。如图 4(a) 所示,该数据集中的动漫人物包括来自日本、中国、欧洲和美国四个国家的动漫人物。

2. 图片数量不均

数据集是自然创建的。50% 的动漫人物只有不到 30 张图片,而有些动漫人物却有大约 500 张图片。

3. 高质量

数据集经过手动标记之后,执行交叉检查方法,二次检查的错误率确保低于 5%。图 4(c) 显示图像的分辨率大于 100 × 100,其中 65% 的图像分辨率超过了 200 × 200。图像的清晰度是通过拉普拉斯度量标准计算的。大多数样本的值如图 4(e) 所示,为了确保图像边界的清晰度和锐度,需要大于 100。

4. 丰富的属性

每个图像都提供了人脸边界框、身份、区域、姿势和性别之类的信息。关于姿势和性别的统计信息如图 4(b) 和图 4(d) 所示。选择随机的 10000 个样本,并用 3D 姿态信息注释。

追番必备,动漫角色也可以用人脸识别了

基于动漫和真人的多人物训练框架

图 5 展示了该研究团队提出的基于动漫和真人的多人物训练框架。该框架主要包括:分类损失、未知身份拒绝损失和域迁移损失。

追番必备,动漫角色也可以用人脸识别了

其中,为了获得分类特征提取器,研究者采用分类损失正则化动漫脸和真人脸分类器,对动漫脸和真人脸进行分类。未知身份拒绝损失旨在找到在不同域之间具有无监督正则化的特征重投影。域适应损失则是为了减小动漫人脸和真人脸之间的域间隙。

实验

在实验部分,研究者提出了 3 个问题并对其进行了解答。

1. 对于动漫脸来说,那种算法是最佳的?

研究者对几种常用算法进行了评估,包括 softmax、SphereFace、CosFace、ArcFace 和 Focal loss,并在下图中可视化了相应的 CMC 曲线。可以看到,ArcFace+FL 在 5 种算法中表现最优。

追番必备,动漫角色也可以用人脸识别了

5 种算法的 CMC 曲线图。

2. 上下文对于动漫脸识别有用吗?

动漫脸是识别动漫角色的主要部分。那如果「脸盲」怎么办?在有些情况下,仅仅依靠动漫角色的人脸不足以区分不同的动漫人物。研究者在动漫脸的基础上进行了不同比例的扩充,下图表明,含有更多的上下文信息能够实现更好的性能。

追番必备,动漫角色也可以用人脸识别了

3. 将人脸识别的知识迁移至动漫脸识别是否有所增益?

第一个经过训练的动漫脸模型的准确率是 91.0%,如下图所示,加入人脸识别的数据后,性能提升至 92.4%,并且对注释过程有所帮助。

追番必备,动漫角色也可以用人脸识别了

追番必备,动漫角色也可以用人脸识别了

欢迎关注我们,看通俗干货

追番必备,动漫角色也可以用人脸识别了

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/172288.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • 木马免杀原理

    木马免杀原理##木马免杀原理###一、实验目的1.了解杀毒软件特征码查杀病毒的基本原理2.掌握木马特征码免杀的原理和方法###二、实验环境1.系统环境:Windows环境,XP环境2.软件工具:灰鸽

  • Windows操作系统双因素身份认证解决方案

    Windows操作系统双因素身份认证解决方案Windows桌面帮助企业将办公桌面快速、集中部署在平台上,方便进行管理维护且节省企业成本,能让员工随时随地登录到自己的windows桌面环境中,实现移动办公。安全事件频发的现在,在单一的静态密码登录验证机制下,非法入侵者若窃听到桌面登录账号的用户名及密码,即可通过合法访问权限访问内部系统,企业信息安全面临挑战;企业为防止账号信息泄露,通常强制要求员工定期更换登录密码,给员工及IT运维人员带来许多不必要的麻烦;其次没有及时收回的账号,离职员工仍然有桌面的合法访问权限,因此额外增加了IT部门的账号回收管理

    2022年10月28日
  • 菜鸟入门Docker[通俗易懂]

    菜鸟入门Docker[通俗易懂]菜鸟入门Docker说明一、什么是Docker(1)虚拟机和Linux容器二、Docker用途三、Docker安装(1)设置仓库(2)安装DockerEngine-Community(3)验证安装成功四、Docker启动与停止(1)启动docker(2)停止docker(3)重启docker五、Docker配置(1)将用户加入Docker用户组(2)配置daemon.json六、image…

  • 键盘win键无法使用,win+r不生效、win键没反应、Windows键失灵万能解决方案

    键盘win键无法使用,win+r不生效、win键没反应、Windows键失灵万能解决方案Windows键失灵的几种解决方案今早用抹布擦洗键盘,不断拍打键盘,清理完成后发现键盘win键无法使用1、请先按住键盘上的FN键不放,然后按一下win键,即可恢复正常2、有些笔记本是fn+f2,或者是fn+f6锁了win键,导致win键按了没反应,再按一次即可正常3、有些机械键盘的游戏模式会屏蔽win键可以使用fn+有游戏图标的那个键即可恢复正常4、根据不同的键盘和电脑,可能有一些别的特殊按键也会锁定win键,造成无法使用,可以依次尝试fn+某些功能键来解锁5、万能终…

  • 2022年Redis最新面试题第6篇 – Redis淘汰策略「建议收藏」

    2022年Redis最新面试题第6篇 – Redis淘汰策略「建议收藏」Redis过期键的删除策略?出现概率:★★★★Redis过期键的删除策略是:定期删除+惰性删除。1)、关于定期删除,Redis默认会每隔100ms就随机选取一些已经过期了的key,检查其是否过期,如果已经过期就删除。不过假设Redis里放了100w个key,而且都设置了过期时间,你每隔几百毫秒,就检查100w个key,那Redis基本上就卡死了,cpu负载也会很高的,基本都消耗在检查过期key上了。注意,这里可不是每隔100ms就遍历所有的设置过期时间的key,那样就是一场性能上的灾难。实际情况是每

    2022年10月21日
  • 电脑磁盘未知没有初始化_win7怎么进去计算机管理

    电脑磁盘未知没有初始化_win7怎么进去计算机管理win7系统想必大家都非常熟悉吧,然而有时候可能会碰到win7系统电脑新增的硬盘没有初始化的情况,想必大家都遇到过win7系统电脑新增的硬盘没有初始化的情况吧,那么应该怎么处理win7系统电脑新增的硬盘没有初始化呢?我们依照  1、当正常增加新硬盘后,登录系统,打开磁盘管理,系统会自动打开【磁盘初始化和转换向导】,单击“下一步”; 2、正确选择要初始化的磁盘,单击“下一步”;这样的步骤就行了;下…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号