2018-06-05 00:40:00 +08:00
|
|
|
|
## Scrapy爬虫框架高级应用
|
|
|
|
|
|
|
2018-06-08 16:31:02 +08:00
|
|
|
|
### Spider的用法
|
|
|
|
|
|
|
|
|
|
|
|
在Scrapy框架中，我们自定义的蜘蛛都继承自scrapy.spiders.Spider，这个类有一系列的属性和方法，具体如下所示：
|
|
|
|
|
|
|
|
|
|
|
|
1. name：爬虫的名字。
|
|
|
|
|
|
2. allowed_domains：允许爬取的域名，不在此范围的链接不会被跟进爬取。
|
|
|
|
|
|
3. start_urls：起始URL列表，当我们没有重写start_requests()方法时，就会从这个列表开始爬取。
|
|
|
|
|
|
4. custom_settings：用来存放蜘蛛专属配置的字典，这里的设置会覆盖全局的设置。
|
|
|
|
|
|
5. crawler：由from_crawler()方法设置的和蜘蛛对应的Crawler对象，Crawler对象包含了很多项目组件，利用它我们可以获取项目的配置信息，如调用crawler.settings.get()方法。
|
|
|
|
|
|
6. settings：用来获取爬虫全局设置的变量。
|
|
|
|
|
|
7. start_requests()：此方法用于生成初始请求，它返回一个可迭代对象。该方法默认是使用GET请求访问起始URL，如果起始URL需要使用POST请求来访问就必须重写这个方法。
|
|
|
|
|
|
8. parse()：当Response没有指定回调函数时，该方法就会被调用，它负责处理Response对象并返回结果，从中提取出需要的数据和后续的请求，该方法需要返回类型为Request或Item的可迭代对象（生成器当前也包含在其中，因此根据实际需要可以用return或yield来产生返回值）。
|
|
|
|
|
|
9. closed()：当蜘蛛关闭时，该方法会被调用，通常用来做一些释放资源的善后操作。
|
|
|
|
|
|
|
2018-06-05 00:40:00 +08:00
|
|
|
|
### 中间件的应用
|
|
|
|
|
|
|
2018-06-08 16:31:02 +08:00
|
|
|
|
#### 下载中间件
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
#### 蜘蛛中间件
|
|
|
|
|
|
|
2018-06-05 00:40:00 +08:00
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
### Scrapy对接Selenium
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
### Scrapy部署到Docker
|
|
|
|
|
|
|
