环境的安装
mac 和 linux 系统采用 pip install scrapy 方式可以进行安装
windows安装:
1,pip install wheel
2,下载twisted,下载地址:https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
3,安装twisted:pip install Twisted-20.3.0-cp37-cp37m-win_amd64.whl
4,pip install pywin32 # cp37 代表当前python的版本
5,pip install scrapy
测试:在终端里录入scrapy指令,没有报错即表示安装成功。
创建一个工程:scrapy startproject xxx
在spiders子目录中创建一个爬虫文件:scrapy genspider 爬虫文件名 www.xxx.com
利用终端 cd到spiders目录中去创建爬虫文件,cd的时候,从 firstBlood项目文件开始。
执行项目工程 : scrapy crawl 爬虫文件名,而不是直接跟以前一样运行py程序。
scrapy crawl 爬虫文件名 --nolog :表示清除日志信息,只保留爬虫文件里面的print()内容。
上述的--nolog指令虽然不打印日志内容,但是错误信息也不会打印,所以采用下面的办法。
在 settings.py 文件里面任意位置添加:LOG_LEVEL = 'ERROR' 表示在执行scrapy crawl 爬虫文件名,项目工程的时候,除了print()信息之外还打印出现的错误信息,其余的信息就不会打印了。