[论文简读] Deep Neural Networks for Web Page Information Extraction

[论文简读] Deep Neural Networks for Web Page Information Extraction

[论文简读] Deep Neural Networks for Web Page Information Extraction 基于深层神经网络进行网页信息提取

简单介绍

本文主要介绍了一种基于神经网络并结合视觉信息、文本信息的多网站通用包装器(wrapper)

本文的几个贡献
o 提出了一种将数据从web渲染引擎编码到深层神经网络的方法,即文本的空间编码方法
o 测试了该方法,并验证了其在非通用网站上提取信息的可行性
o 公开了数据集(暂未公开,从代码上看也是自己去找适合的网页爬下来的)、源码和最终模型

基本流程

1. 利用web引擎进行渲染,保存截图(视觉信息)以及DOM树(编码信息)

2. 使用卷积神经网络预测候选元素是否是目标元素

clipboard.png

神经网络

神经网络框架采用了Caffe作为模型训练框架

预处理

从DOM树中提取所有的节点以及其位置,以矩形框表示,使用其文本作为文本输入, 叶节点作为候选输入,然后使用卷积神经网络来处理视觉信息和文本信息,得到一个预测概率P

空间文本编码

clipboard.png

网络架构

clipboard.png
o Screenshot 屏幕截图 由三个卷积层处理(前两层用来自BVLC AlexNet的预先训练的权重初始化)
o TextMap 的张量尺寸为128x160x160
o Candidates 候选列表

过程:视觉特征提取,然后与文本特征(中间)结合。 将候选框的坐标投影到最终的特征张量,并使用ROI MaxPool-ing提取结果向量。 最后,使用softmax的线性模型将向量分类为预定义的类。

实例

clipboard.png

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/101572.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • 配置maven环境变量出错

    配置maven环境变量出错真是百思不得其解,在配置maven环境变量的时候通过下面的方法,尽管配置的环境完全正确,但在验证maven环境是否配置正确的时候却始终报错,报错内容如下所示:   出现此错误的配置方法如下: 1、右键“我的电脑”->”属性”; 2、在打开的属性面板里选择“高级系统设置”; 3、在打开的高级系统设置对话框中选择“环境变量”; 4、添加新的系统环境变量MA

  • java软件工程师前景_培养java工程师

    java软件工程师前景_培养java工程师从各大招聘网上我们就能看出,同等软件工程师的就业前景是远比网络工程师就业前景要好很多,年薪在10万以上的软件工程师还只是一个起点,随着经验的增加,年薪超20万的也是很常见的,而其它专业的发展前景是远比不上Java软件工程师的就业前景的。Java软件工程师就业前景为什么这么好呢?原因之一:软件工程师可谓是软件项目开发的掌舵者,一名优秀的软件工程师应当具有较强的逻辑思维能力,对于技术的发展有敏锐的嗅觉…

  • AC自动机总结「建议收藏」

    AC自动机总结0.引言:   由于大连现场赛的一道AC自动机+DP的题目(zoj3545RescuetheRabbit)被小媛同学推荐看AC自动机。经过一段时间的努力,终于把shǎ崽神牛的AC自动机专辑题目AK(其实还差那个高中题。。囧。。不让做)。   特别感谢:shǎ崽神牛,并附以链接:   http://www.notonlys

  • 操作系统知识整理 – 进程控制块

    操作系统知识整理 – 进程控制块前提系统中需要有描述进程存在和能够反映其变化的物理实体,即进程的静态描述。进程的静态描述由3部分组成:进程控制块(ProcessControlBlock,PCB),有关程序段和该程序段操作的数据结构集。PCB是系统感知进程的唯一实体,用于描述进程的当前情况以及管理进程运行的全部信息,是操作系统中最重要的记录型数据结构。程序段以及数据结构集是进程完成所需功能的物质基础。一个进…

    2022年10月30日
  • VS2013激活码_vs2008 助手激活成功教程

    VS2013激活码_vs2008 助手激活成功教程下载:MSDNLibraryforVisualStudio2008(MSND)http://www.microsoft.com/downloads/details.aspx?FamilyID=7bbe5eda-5062-4ebb-83c7-d3c5ff92a373&DisplayLang=zh-cnVisualStudioTeamSystem2008Tea…

  • apk逆向激活成功教程入门级[通俗易懂]

    apk逆向激活成功教程入门级[通俗易懂]样本很简单,就只有个发短信的行为,内容加密,可以直接写解密方法解密,但是这里我想通过hook解密方法直接动态看解密内容。动态跑发现并没有运行到解密方法那里,查看代码发现解密前有个if没通过:试着反编译修改代码找到对应的smali代码删除掉重新编译生成apk搞定。新生成的apk成功删除掉了if判断那块代码最后hook解密方法动态看到解密内容附上样本:链接:https://p…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号