Python爬虫必备技能,使用 动态代理ip 爬取 Youtube游戏模块主页 示例,不翻墙无版权

Python爬虫必备技能,使用 动态代理ip 爬取 Youtube游戏模块主页 示例,不翻墙无版权动态ip相信大家肯定都听说过,或者已经使用过。使用动态ip有很多好处,比如保护你的网络免受外部攻击、屏蔽你的IP地址等。那本篇文章就来研究一下这个动态ip,对这方面不了解的小伙伴正好可以一起学习一下。

大家好,又见面了,我是你们的朋友全栈君。

在这里插入图片描述

请添加图片描述


引言

  • 动态代理ip 相信大家肯定都听说过,或者已经使用过。
  • 本篇文章就来介绍一下什么是动态代理ip,还有一个使用代理ip爬取Youtube游戏模块主页
  • 使用动态ip有很多好处,比如保护你的网络免受外部攻击、屏蔽你的IP地址等。
  • 那本篇文章就来研究一下这个动态ip,对这方面不了解的小伙伴正好可以一起学习一下。

一、动态代理ip

1.1 什么是动态代理ip

动态代理IP,字面意思来说这个IP会随时随机发生变化,不是固定的,就是动态代理IP。动态代理IP一般会有网络爬虫用户使用。

动态IP 分为 长效代理短效代理

  • 长效代理代理IP:支持采集数据或者游戏挂机等许多业务,由于网络爬虫采集的数据量比较大,很少会选择长效代理,长效代理IP就相当于本地IP一样,访问一个网站久了自然IP也会被限制,而且采集的量非常小。不利于爬虫使用。

  • 短效代理IP:支持数据抓取、seo优化、 APP刷量,问答推广等许多业务。一般是网络爬虫用户选择动态短效代理IP的比较多。爬虫的业务量大,使用动态短效代理IP去进行数据采集的话,能大大提高业务效率。

1.2 使用动态代理IP好处

在这里插入图片描述

  1. 提高网站访问速度:浏览某个网站后,浏览的网站上的信息会存储在代理服务器的硬盘上。如果你再次浏览网站,这些信息可以随时在代理服务器中获取,而无需重新连接远程服务器。因此,它可以节省带宽,加快网站的浏览速度。
  2. 作为防火墙:可以保证局域网的安全,作为防火墙的功能,对于使用代理服务器的局域网来说,从外部来看,只有代理服务器才能看到,而其他局域网的用户则不能看到。代理商还可以用来限制IP地址的封锁,禁止用户浏览某些页面。
  3. 降低IP成本:应用代理服务器可以节省对IP地址的需求,从而降低IP地址的成本。
  4. 便于管理网络资源:可以限制部分共享资源进入特殊区域用户,维护资源的区域性。
  5. 提高爬虫的速率:使用动态代理ip可以绕过目标网站限制,更好的抓取网络数据,可以自定义时间更换ip地址,提高爬虫效率。

1.3 动态代理IP类别

动态代理IP 还分为透明代理匿名代理高匿代理
以此可以看出代理IP的质量强度。对于网络爬虫来说可以根据自己的需求来购买定制需要动态IP。

高匿代理自然也是动态代理IP类型中质量最好的一种,不少的企业爬虫用户都会选择隧道转发的高匿爬虫代理IP来给业务提供需要,保证自己的业务效果和质量。

透明代理匿名代理虽然也是代理IP,但是大大降低的爬虫业务的进展和效率,所以网络爬虫选择隧道转发的爬虫代理才是正确选择。


二、怎样申请 动态ip代理

2.1 选择合适的代理IP 网站

简单介绍了一下动态代理IP的概念和好处,再来说说怎样申请这个 动态代理IP 。

目前有很多的代理IP网站,根据稳定性和安全性对比价格差异很大。

那我这里使用的是 IPIDEA 这个网站,现在新用户有500M流量白嫖,正好我们可以拿来做实验。

可以直接点击注册就行了:http://www.ipidea.net/?utm-source=csdn&utm-keyword=?xy

进入网站之后点击 获取代理 -> API获取
在这里插入图片描述

然后根据自己的喜好选择 数量地区,其他的使用默认选项即可,然后点击下面的 生成链接
在这里插入图片描述
如果没有实名认证的话会跳出这个界面,点击认证就好
在这里插入图片描述

然后复制我们生成的链接,这个链接要保存好,后面使用Python爬取的时候会用到。
在这里插入图片描述
把链接单独复制再打开就会看到刚才生成的IP,这部分可以用于我们自己的浏览器手动设置使用。
在这里插入图片描述


三、浏览器怎样使用 代理ip

上一步中我们获取到了一个 ip代理池,接下来拿QQ浏览器示例,简单看一下怎样使用这些代理ip。

在QQ浏览器菜单列表内 – 设置高级网络更改代理服务器设置

在这里插入图片描述

在弹出的Internet属性窗口,点击局域网设置

在这里插入图片描述

填写我们复制的 IP端口号,并点击 确定
在这里插入图片描述
打开百度/谷歌搜索引擎,搜索:IP,查看当前代理后的IP地址

在这里插入图片描述
到这里我们就是成功使用 代理ip 了,接下来使用 该代理ip 就可以干一些其他事情了~

但是这只是一个最简单的用法,更高级的应该是在使用爬虫的时候使用该动态IP代理池达到一个更好的效果。

下面就来简单写一个用代理ip来访问CSDN博客个人主页的实例。


四、使用 动态代理ip 摘取 Youtube游戏模块 示例

使用Python写一个简单的 ip代理 示例,后面使用Python爬一些其他数据的时候都可以参照。

直接使用 requests 模块来做,然后再加一个随机请求头模块 fake_useragentUserAgent

下面就以 Youtube游戏模块 做一个简单的示例,界面内容如下:
在这里插入图片描述

完整代码如下所示,注释很详细,就不多做说明了。

# 微信搜索:[呆呆敲代码的小Y],回复[白嫖]获取超多精品编程学习资料!!
# 爬虫使用代理IP
# 导入模块:requests、fake-useragent、UserAgent
import requests
from fake_useragent import UserAgent

# 要访问的url地址
url='https://www.youtube.com/gaming'

# 随机请求头
headers={ 
   'User-Agent':UserAgent().random}

# 代理ip 的API(IPIDEA网站获取的)
api_url='http://tiqu.ipidea.io:81/abroad?num=100&type=1&lb=1&sb=0&flow=1&regions=&port=1'

res = requests.post(api_url,headers=headers, verify=True)

# proxies = {'协议': '协议://IP:端口号'}
proxie = "https://%s"%(res.text)
proxies = { 
   'http': proxie}

# 打印所有的代理ip
print(proxies)

# 访问Youtube游戏模块测试并输出结果
html=requests.get(url=url,headers=headers,proxies=proxies).text
print(html)

# 微信搜索:[呆呆敲代码的小Y],回复[白嫖]获取超多精品编程学习资料!!

运行效果所示:
在这里插入图片描述

爬取Youtube游戏模块主页的完整信息如下:
在这里插入图片描述

这里只是演示了使用 代理ip 爬取了 Youtube游戏模块主页,利用好 动态代理ip 能用的事情可就更多了,大家自行体验吧!

只要能用爬虫的地方,我们可以自定义一个时间自动切换ip,这样在爬取大量数据的时候就会避免被限制访问,提高爬虫效率。


五、总结

  • 关于 动态代理ip 这一块能做的功能不止爬取数据
  • 还可以做更多好玩有趣的事,比如刷##,爬## 等等,具体用处大家自行摸索吧!
  • 正好我最近也在更新Python的一些学习内容,大家对Python感兴趣的也可以来我的专栏学习哦。
  • 博主对于Python这一块不是特别熟练,可以更好的从一个Python初学者的角度去和大家一起深入学习!
  • 借助这个 Python零基础到入门 专栏 来跟大家一起学习Python相关的内容,如果有什么问题也欢迎在评论区一起讨论呀~

?往期优质文章分享


? 优质专栏分享 ?
  • ?如果感觉文章看完了不过瘾,可以来我的其他 专栏 看一下哦~
  • ?比如以下几个专栏:Unity基础知识学习专栏Unity游戏制作专栏Unity实战类项目 算法学习专栏
  • ?可以学习更多的关于Unity引擎的相关内容哦!直接点击下面颜色字体就可以跳转啦!

资料白嫖,技术互助

学习路线指引(点击解锁) 知识定位 人群定位
? Unity系统学习专栏 ? 入门级 本专栏从Unity入门开始学习,快速达到Unity的入门水平
? Unity实战类项目 ? 进阶级 计划制作Unity的 100个实战案例!助你进入Unity世界,争取做最全的Unity原创博客大全。
❤️ 游戏制作专栏 ❤️ 难度偏高 分享学习一些Unity成品的游戏Demo和其他语言的小游戏!
? 游戏爱好者八万人社区? 互助/吹水 游戏爱好者社区,白嫖奖品
? Python零基础到入门 ? Python初学者 针对没有经过系统学习的小伙伴,核心目的就是让我们能够快速学习Python的知识以达到入门

【游戏开发爱好者社区】活动进行中,每周打卡送书籍等礼品,期待你的加入

? 社区活动,重磅来袭 ?

【游戏开发爱好者社区】在本周重磅新推出【每日打卡】活动

? 新玩法,奖励升级!游戏开发爱好者社区:https://bbs.csdn.net/forums/unitygame

社区中心思想今天你学到了什么?

在社区你可以做些什么: 每日强化知识点,白嫖书籍礼品!

一个人可以走的很快,一群人才能走的更远!?爆C站的游戏开发爱好者社区欢迎您的加入!

更多白嫖活动详情:https://bbs.csdn.net/forums/unitygame?typeId=19603


温馨提示: 点击下面卡片可以获取更多编程知识,包括各种语言学习资料,上千套PPT模板和各种游戏源码素材等等资料。更多内容可自行查看哦!
请添加图片描述

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/136443.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • 后缀数组的学习(四):SA数组实现代码分析

    后缀数组的学习(四):SA数组实现代码分析

  • CentOS 7 yum安装与配置 Tomcat「建议收藏」

    CentOS 7 yum安装与配置 Tomcat「建议收藏」CentOS7yum安装TomcatCentOS7yum安装Tomcat1、准备工作Tomcat2、安装Tomcat3、配置环境变量4、启动Tomcat和无法访问原因4.1、不能访问的原因5、安装Tomcat管理包6、配置TomcatWeb管理界面7、访问Web界面1、准备工作Tomcat检测本机是否安装Tomcatsystemc…

  • JavaScript 闭包详解

    JavaScript 闭包详解JavaScript闭包文章目录JavaScript闭包一、为什么要闭包二、外部得以访问函数内变量三、某些变量得以常驻内存1.垃圾回收机制对闭包的处理2.结合立即执行函数来保存某些变量总结#前言##1.什么是闭包函数闭包函数是声明在另一个函数内的函数,是被嵌套在父函数内部的子函数,在《JS高级程序设计-第3版》中对闭包解释是:”闭包是指有权访问另外一个函数作用域中的变量的函数.”闭包函数可以访问[包裹其的函数]内的各种参数和变量,即便外部函数已经执行完毕.(至于为什么请看下文).一、为什么

  • 电容的分类及作用_热敏电阻的工作原理及作用

    电容的分类及作用_热敏电阻的工作原理及作用旁路旁路电容是为本地器件提供能量的储能器件,它能使稳压器的输出均匀化,降低负载需求。就像小型可充电电池一样,旁路电容能够被充电,并向器件进行放电。为尽量减少阻抗,旁路电容要尽量靠近负载器件的供电电源管脚和地管脚。这能够很好地防止输入值过大而导致的地电位抬高和噪声。地电位是地连接处在通过大电流毛刺时的电压降。去耦去耦,又称解耦。从电路来说,总是可以区分为驱动的源和被驱动的负载。如果

  • 眼下最好的JSP分页技术

    眼下最好的JSP分页技术

    2021年11月13日
  • Linux环境下安装部署redis「建议收藏」

    Linux环境下安装部署redis「建议收藏」目录一、下载安装包二、安装redis2.1下载安装最新版的gcc编译器2.2上传安装包至/opt目录2.3解压命令2.4解压完成后进入目录2.5执行make命令2.6如果没有准备好C语言编译环境,执行make命令会报错2.7解决方案:运行makedistclean2.8然后再redis-6.2.6目录下再次执行make命令2.9跳过maketest继续执行:makeinstall3.0安装目录/usr/local/bin.

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号