爬虫之scrapy框架的安装和项目创建

环境的安装

mac 和 linux 系统采用 pip install scrapy  方式可以进行安装

windows安装：

           1，pip install wheel

           2，下载twisted,下载地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

           3，安装twisted：pip install Twisted-20.3.0-cp37-cp37m-win_amd64.whl

           4，pip install pywin32                    # cp37 代表当前python的版本

           5，pip install scrapy

       测试：在终端里录入scrapy指令，没有报错即表示安装成功。

创建一个工程：scrapy startproject xxx

在spiders子目录中创建一个爬虫文件：scrapy genspider 爬虫文件名 www.xxx.com

         利用终端 cd到spiders目录中去创建爬虫文件,cd的时候，从 firstBlood项目文件开始。

 执行项目工程 ： scrapy crawl 爬虫文件名，而不是直接跟以前一样运行py程序。

scrapy crawl 爬虫文件名 --nolog :表示清除日志信息，只保留爬虫文件里面的print()内容。

上述的--nolog指令虽然不打印日志内容，但是错误信息也不会打印，所以采用下面的办法。

在 settings.py 文件里面任意位置添加：LOG_LEVEL = 'ERROR'  表示在执行scrapy crawl 爬虫文件名，项目工程的时候，除了print()信息之外还打印出现的错误信息，其余的信息就不会打印了。