Java抓取网页数据(原网页+Javascript返回数据)

Java抓取网页数据(原网页+Javascript返回数据)

大家好,又见面了,我是全栈君,祝每个程序员都可以多学几门语言。

转载请注明出处!

原文链接:http://blog.csdn.net/zgyulongfei/article/details/7909006

有时候因为种种原因,我们须要採集某个站点的数据,但因为不同站点对数据的显示方式略有不同!

本文就用Java给大家演示怎样抓取站点的数据:(1)抓取原网页数据;(2)抓取网页Javascript返回的数据。

一、抓取原网页。

这个样例我们准备从http://ip.chinaz.com上抓取ip查询的结果:

第一步:打开这个网页,然后输入IP:111.142.55.73,点击查询button,就能够看到网页显示的结果:

Java抓取网页数据(原网页+Javascript返回数据)


第二步:查看网页源代码,我们看到源代码中有这么一段:

Java抓取网页数据(原网页+Javascript返回数据)


从这里能够看出,查询的结果,是又一次请求一个网页之后显示的。

再看看查询之后的网页地址:Java抓取网页数据(原网页+Javascript返回数据)

也就是说,我们仅仅要訪问形如这种网址,就能够得到ip查询的结果,接下来看代码:

public void captureHtml(String ip) throws Exception {
	String strURL = "http://ip.chinaz.com/?IP=" + ip;
	URL url = new URL(strURL);
	HttpURLConnection httpConn = (HttpURLConnection) url.openConnection();
	InputStreamReader input = new InputStreamReader(httpConn
			.getInputStream(), "utf-8");
	BufferedReader bufReader = new BufferedReader(input);
	String line = "";
	StringBuilder contentBuf = new StringBuilder();
	while ((line = bufReader.readLine()) != null) {
		contentBuf.append(line);
	}
	String buf = contentBuf.toString();
	int beginIx = buf.indexOf("查询结果[");
	int endIx = buf.indexOf("上面四项依次显示的是");
	String result = buf.substring(beginIx, endIx);
	System.out.println("captureHtml()的结果:\n" + result);
}

使用HttpURLConnection连接站点,用bufReader保存网页返回的数据,然后通过自己定义的一个解析方式将结果显示出来。

这里我仅仅是随便的解析了一下,要解析的很准确的话自己需再处理。

解析结果例如以下:

captureHtml()的结果:
查询结果[1]: 111.142.55.73 ==>> 1871591241 ==>> 福建省漳州市 移动</strong><br />  


二、抓取网页JavaScript返回的结果。

有时候站点为了保护自己的数据,并没有把数据直接放在网页源代码中返回,而是採用异步的方式,用JS返回数据,这样能够避免搜索引擎等工具对站点数据的抓取。

首先看一下这个网页:

Java抓取网页数据(原网页+Javascript返回数据)


用第一种方式查看该网页的源代码,却没有发现该运单的跟踪信息,由于它是通过JS的方式获取结果的。

但有时候我们非常须要获取到JS的数据,这个时候要怎么办呢?

这个时候我们须要用到一个工具:HTTP Analyzer,这个工具能够截获Http的交互内容,我们通过这个工具来达到我们的目的。

首先点击Startbutton之后,它就開始监听网页的交互行为了。

我们打开网页:http://www.kiees.cn/sf.php ,能够看到HTTP Analyzer列出了全部该网页的请求数据以及结果:

Java抓取网页数据(原网页+Javascript返回数据)


为了更方便的查看JS的结果,我们先清空这些数据,然后再网页中输入快递单号:107818590577,点击查询button,然后查看HTTP Analyzer的结果:

Java抓取网页数据(原网页+Javascript返回数据)

这个就是点击查询button之后,HTTP Analyzer的结果,我们继续查看:

Java抓取网页数据(原网页+Javascript返回数据)

Java抓取网页数据(原网页+Javascript返回数据)

从上面两幅图中能够看出,HTTP Analyzer能够截获JS返回的数据,并在Response Content中显示,同一时候能够看到JS请求的网页地址。

既然如此,我们仅仅要分析HTTP Analyzer的结果,然后模拟JS的行为就可获取到数据,即我们仅仅要訪问JS请求的网页地址来获取数据,当然前提是这些数据是没有经过加密的,我们记下JS请求的URL:http://www.kiees.cn/sf.php?wen=107818590577&channel=&rnd=0

然后让程序去请求这个网页的结果就可以!

以下是代码:

public void captureJavascript(String postid) throws Exception {
	String strURL = "http://www.kiees.cn/sf.php?wen=" + postid
			+ "&channel=&rnd=0";
	URL url = new URL(strURL);
	HttpURLConnection httpConn = (HttpURLConnection) url.openConnection();
	InputStreamReader input = new InputStreamReader(httpConn
			.getInputStream(), "utf-8");
	BufferedReader bufReader = new BufferedReader(input);
	String line = "";
	StringBuilder contentBuf = new StringBuilder();
	while ((line = bufReader.readLine()) != null) {
		contentBuf.append(line);
	}
	System.out.println("captureJavascript()的结果:\n" + contentBuf.toString());
}

看到了吧,抓取JS的方式和前面抓取原网页的代码一模一样,我们仅仅只是做了一个分析JS的过程。

以下是程序运行的结果:

captureJavascript()的结果:

<div class=”results”><div id=”ali-itu-wl-result” class=”ali-itu-wl-result”><h2 class=”logisTitle”>运单<span class=”mail-no”>【107818590577】</span>的跟踪信息</h2><div class=”trace_result”><ul><li><span class=”time”>2012-07-16 15:46:00</span><span class=”info”>已收件 </span></li><li><span class=”time”>2012-07-16 16:03:00</span><span class=”info”>快件在 广州\t,准备送往下一站广州集散中心 </span></li><li><span class=”time”>2012-07-16 19:33:00</span><span class=”info”>快件在 广州集散中心,准备送往下一站佛山集散中心 </span></li><li><span class=”time”>2012-07-17 01:56:00</span><span class=”info”>快件在 佛山集散中心\t,准备送往下一站佛山 </span></li><li><span class=”time”>2012-07-17 09:41:00</span><span class=”info”>正在派件.. </span></li><li><span class=”time”>2012-07-17 11:28:00</span><span class=”info”>派件已签收 </span></li><li><span class=”time”>2012-07-17 11:28:00</span><span class=”info”>签收人是:已签收 </span></li></ul><div></div></div></div>  </div>


这些数据就是JS返回的结果了,我们的目的达到了!

希望本文可以对须要的朋友有一点帮助,须要程序源代码的,请点击这里下载


版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/118400.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 孟小峰:大数据管理与数据思维

    孟小峰:大数据管理与数据思维孟小峰:大数据管理与数据思维大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战,数据管理方式上的变革正在酝酿和发生。本文对大数据的基本概念进行剖析,归纳大数据时代所面临的新挑战,并对大数据的主要应用做简单对比。在此基础上,阐述大数据处理的基本框架,并就云计算技术对于大数据时代数据管理所产生的作用进阅读全文和小伙伴们一起来吐槽

  • mysql数据库多表查询练习题[通俗易懂]

    mysql数据库多表查询练习题[通俗易懂]下面练习题中设计四个表。分别为:dept表emp表salgrade表tbyear表1.查出至少有一个员工的部门。显示部门编号、部门名称、部门位置、部门人数。SELECTd.deptno,d.dname,d.loc,e1.`count(*)`FROMdeptdINNERJOIN(SELECTdeptno,COUNT(*)FROMemp…

  • 微信 开发诡异的40029错误invalid code错误 443 failed to respond错误的解决办法

    微信 开发诡异的40029错误invalid code错误 443 failed to respond错误的解决办法情景:使用静默授权或感知授权的方式将请求绑定到微信公众号的菜单栏上。链接如下:https://open.weixin.qq.com/connect/oauth2/authorize?appid=APPID&redirect_uri=REDIRECT_URI&response_type=code&scope=SCOPE&state=STATE#wechat_redirect 当点击菜单按钮时微信

  • draggable的用法_draggable

    draggable的用法_draggable一、概述通过前面几节学习,大家应该都知道了,一个div对象是可以通过拖拉来改变大小,也可以通过拖动来改变其位置的。如何改变大小已经讲解过了,那么怎么实现拖动改变位置呢?现在就开始讲解如何实现拖动-

  • 手把手从零开始学习树莓派教程

    手把手从零开始学习树莓派教程项目开始时间:2021/4/1119:43树莓派4b文章目录1.树莓派系统下载2.操作系统移植3.树莓派联网1.树莓派系统下载这里使用raspbian-buster-full系统,官网速度太慢,使用清华镜像下载也很慢,官网下载种子,然后用迅雷下载比较快。解压后8个g,我用的32gsd卡2.操作系统移植用win32diskimager工具把操作系统写入SD卡,插入树莓派中,启动毫无响应,将sd卡从树莓派上拔下,用读卡器再次插入电脑usb口,显示类似这样:在网上找了很多办法,都不能解决,

    2022年10月14日
  • 社会工程学三本_1.9万人报考,扩招近千人!被戏称为“大三本”的985——东南大学,低调有实力!…[通俗易懂]

    社会工程学三本_1.9万人报考,扩招近千人!被戏称为“大三本”的985——东南大学,低调有实力!…[通俗易懂]今天文章的“主角”是东南大学,著名的建筑老八校及原四大工学院之一,国家首批“211工程”、“985工程”、“双一流”A类世界一流大学建设高校。东南大学一流学科:材料科学与工程、电子科学与技术、信息与通信工程、控制科学与工程、计算机科学与技术、建筑学、土木工程、交通运输工程、生物医学工程、风景园林学、艺术学理论。一听到东南大学这个名字,很容易联系到东南电视台,东南汽车,所以东大人就自黑自己是“Hu建…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号