计算机管理系统:电脑网络技术记录本

Python

当前位置:首页 > 程序语言集合 > Python

爬虫之scrapy框架的安装和项目创建

环境的安装

mac 和 linux 系统采用 pip install scrapy  方式可以进行安装


windows安装:

           1,pip install wheel

           2,下载twisted,下载地址:https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

           3,安装twisted:pip install Twisted-20.3.0-cp37-cp37m-win_amd64.whl

           4,pip install pywin32                    # cp37 代表当前python的版本

           5,pip install scrapy

       测试:在终端里录入scrapy指令,没有报错即表示安装成功。


创建一个工程:scrapy startproject xxx


在spiders子目录中创建一个爬虫文件:scrapy genspider 爬虫文件名 www.xxx.com

         利用终端 cd到spiders目录中去创建爬虫文件,cd的时候,从 firstBlood项目文件开始。


 执行项目工程 : scrapy crawl 爬虫文件名,而不是直接跟以前一样运行py程序。


scrapy crawl 爬虫文件名 --nolog :表示清除日志信息,只保留爬虫文件里面的print()内容。


上述的--nolog指令虽然不打印日志内容,但是错误信息也不会打印,所以采用下面的办法。


在 settings.py 文件里面任意位置添加:LOG_LEVEL = 'ERROR'  表示在执行scrapy crawl 爬虫文件名,项目工程的时候,除了print()信息之外还打印出现的错误信息,其余的信息就不会打印了。

爬虫之scrapy框架的安装和项目创建

文章评论

表情

共 0 条评论,查看全部
  • 这篇文章还没有收到评论,赶紧来抢沙发吧~