搭建scrapy框架[通俗易懂]

搭建scrapy框架[通俗易懂]搭建scrapy

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

1.安装scrapy

修改镜像,全局设置,只需要设置一次
pip config set global.index-url https://pypi.doubanio.com/simple

安装
pip install scrapy

搭建scrapy框架[通俗易懂]

补充:

更新安装
pip install -U scrapy

如果windows报错说没有磁盘访问权限可用这个命令
pip install –user scrapy

2.检验scrapy是否安装成功

scrapy

搭建scrapy框架[通俗易懂]

3.创建scrapy项目

scrapy startproject spider0609

搭建scrapy框架[通俗易懂]

4.创建蜘蛛程序

scrapy genspider douban movie.douban.com

搭建scrapy框架[通俗易懂]

5.pycharm打开项目并运行

pycharm->open->spider0609->file->setting->project->python interpreter 配置虚拟环境->add

搭建scrapy框架[通俗易懂]

 搭建scrapy框架[通俗易懂]

搭建scrapy框架[通俗易懂]

第一步:以管理员身份运行powershell
第二步:执行:get-ExecutionPolicy 回复Restricted,表示状态是禁止的。
第三步:执行:set-ExecutionPolicy RemoteSigned
第四步:选择Y,回车

搭建scrapy框架[通俗易懂]

 再次打开terminal即可解决

 搭建scrapy框架[通俗易懂]

 虚拟环境安装scrapy(之前装是装在全局环境的,现在是给虚拟环境装)

搭建scrapy框架[通俗易懂]

scrapy crawl douban -o douban.csv
 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/189585.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • 《数据仓库与数据挖掘教程》ch01绪论 章节整理

    《数据仓库与数据挖掘教程》ch01绪论 章节整理数据仓库概述从传统数据库到数据仓库计算机数据处理有两种主要方式事务型处理分析型处理传统数据库与事务处理传统数据库是长期存储在计算机内的、有组织的、可共享的数据集合有严格的数学理论支持,并在商业领域得到普及应用。联机事务处理(On-LineTransactionProcessing)系统,简称OLTP系统。数据存储在传统数据库中,成为OLTP数据库处理特点:实时响应,数…

  • 什么是JavaSE,写给第一次接触Java的人

    什么是JavaSE,写给第一次接触Java的人Java语法基础Java开发环境搭建Java概述Java是一门编程语言,是用来编写软件的。QQ、迅雷、淘宝、京东等等这些常用软件都可以用Java来编写。其实,Java最擅长的是编写如下类型的软件:1、互联网:电商、P2P2、企业级应用:ERP、CRM、BOS、OAJavaSE是java分类中的标准版,是刚接触java要学习的基础知识。JavaEE是java分类中的企

  • win10键盘灯怎么开启_windows10怎么开键盘灯光

    win10键盘灯怎么开启_windows10怎么开键盘灯光win10系统,联想拯救者,有时我们需要在昏暗的条件下开灯。快捷键Fn+空格(space)fn:functionn大家可以试一试。

  • Nginx简单配置,部分来源于网络

    Nginx简单配置,部分来源于网络

    2021年10月19日
  • keypad 按键显示

    keypad 按键显示main.c#include”config.h”//矩阵按键扫描头文件#include”anjian.h”//1602显示头文件#include”1602.h”#include”music.h”sbitLED=P1^0;u8codekey[]={‘0′,’1′,’2′,’3′,’4′,’5′,’6′,’7′,’8′,’9′,’*’,’#’};//3*4手机拨号键盘号码u8

  • 常用建模方法_建模方法有哪几种

    常用建模方法_建模方法有哪几种数据建模世界上物品种类有千万种,各种信息更是层出不穷,每种信息都有各自独特的格式和表达方式,如何对信息进行描述,按照一定的方式进行转化,使之形成适合存储的数据格式,称之为建模。常用的有实体建模法,维度建模法,范式建模法三种数据建模方法,不管哪种数据建模方法都是使信息结构清晰、易于存储和读取。(1)实体建模法 实体是现实世界中存在的事物或发生的事件,是现实世界中任何可识别、可区分的事物。…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号