大家好,又见面了,我是你们的朋友全栈君。
在scrapy中创建项目以后,在settings文件中有这样的一条默认开启的语句:
# Obey robots.txt rules
ROBOTSTXT_OBEY = True
默认为True,就是要遵守robots.txt 的规则,那么 robots.txt 是个啥?
通俗来说, robots.txt 是遵循 Robot协议 的一个文件,它保存在网站的服务器中,它的作用是,告诉搜索引擎爬虫,本网站哪些目录下的网页 不希望 你进行爬取收录。在Scrapy启动后,会在第一时间访问网站的 robots.txt 文件,然后决定该网站的爬取范围。
当然,我们并不是在做搜索引擎,而且在某些情况下我们想要获取的内容恰恰是被 robots.txt 所禁止访问的。所以,某些时候,我们就要将此配置项设置为 False ,拒绝遵守 Robot协议 !
淘宝Robots文件:https://www.taobao.com/robots.txt
发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/130635.html原文链接:https://javaforall.cn
【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛
【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...