“自动操作浏览器之–无界面selenium爬虫”
在之前已经学会了如何使用selenium驱动浏览器,并且做操作
详情请看:selenium自动化操作浏览器
但是selenium总是会打开一个浏览器,这次我们来看一个不用打开浏览器,做自动化操作的方式。
注:这个操作必须建立在前面的环境搭建成功的基础之上,所以自动操作浏览器还是要先了解的。
01,无界面获取网页内容
其实,无界面操作只是在有界面的操作的基础之上,增加一段代码,但整体看起来高大尚一点。另外使用无界面的操作,在爬虫方面比较多一点。可以通过各种定位直接获取到想要的元素。
在有界面操作浏览器的基础之上增加一行重要的代码,另外这里需要使用到一个插件:
driver=webdriver.PhantomJS("phantomjs插件路径")
获取界面信息就可以使用:
from selenium import webdriver
driver=webdriver.PhantomJS()
#url打开的要打开的网址
driver.get(url="http://www.baidu.com")
driver.page_source()
然后操作还是之前的操作,只不过是多了一句代码。
02—selenium提取内容
无界面的操作获取页面信息搞定了,那怎么来获取指定内容呢!
操作还是如之前的操作,截屏,定位,这些都是相同的。
获取想要的指定内容,只需要这样:
根据之前的定位方式:然后加上
.text()
具体得来看一个例子:
from selenium import webdriver
driver=webdriver.PhantomJS()
#url打开的要打开的网址
driver.get(url="http://www.baidu.com")
driver.page_source()#获取页面html
#通过id定位元素并获取定位的内容
driver.find_element_by_id("su").text()
#获取id为'su'的元素的内容
那问题是不是解决了。
公众号后台回复“无界面操作浏览器” 获取相关的插件。
关注公众号,获取更多内容哟!
相关推荐:
自动打开浏览器,自动进行操作
这些图片太漂亮,想要,一个一个下载好慢,怎么破,在线等,急!!!!
下载图片再也不用自己动手了
发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/111421.html原文链接:https://javaforall.cn
【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛
【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...