更新了爬虫第1天的文档

pull/6/head
jackfrued 2018-05-28 19:44:44 +08:00
parent 00b7d74c77
commit a97f4ac4e5
3 changed files with 23 additions and 0 deletions

View File

@ -89,7 +89,17 @@ Disallow: /
#### HTTP协议
在开始讲解爬虫之前我们稍微对HTTP超文本传输协议做一些回顾因为我们在网页上看到的内容通常是浏览器执行HTML语言得到的结果而HTTP就是传输HTML数据的协议。HTTP是构建于TCP传输控制协议之上应用级协议它利用了TCP提供的可靠的传输服务实现了Web应用中的数据交换。按照维基百科上的介绍设计HTTP最初的目的是为了提供一种发布和接收[HTML](https://zh.wikipedia.org/wiki/HTML)页面的方法也就是说这个协议是浏览器和Web服务器之间传输的数据的载体。关于这个协议的详细信息以及目前的发展状况大家可以阅读阮一峰老师的[《HTTP 协议入门》](http://www.ruanyifeng.com/blog/2016/08/http.html)、[《互联网协议入门》](http://www.ruanyifeng.com/blog/2012/05/internet_protocol_suite_part_i.html)系列以及[《图解HTTPS协议》](http://www.ruanyifeng.com/blog/2014/09/illustration-ssl.html)进行了解下图是我在2009年9月10日凌晨4点在四川省网络通信技术重点实验室用开源协议分析工具Ethereal抓包工具WireShark的前身截取的访问百度首页时的HTTP请求和响应的报文协议数据由于Ethereal截取的是经过网络适配器的数据因此可以清晰的看到从物理链路层到应用层的协议数据。
HTTP请求请求行+请求头+空行+[消息体]
![](/Users/Hao/Desktop/Python-100-Days/Day41-55/res/http-request.png)
HTTP响应响应行+响应头+空行+消息体):
![](/Users/Hao/Desktop/Python-100-Days/Day41-55/res/http-response.png)
> 说明但愿这两张如同泛黄的照片般的截图帮助你大概的了解到HTTP是一个怎样的协议。
#### 相关工具
@ -148,6 +158,19 @@ Disallow: /
6. robotparser解析robots.txt的工具
```Python
>>> from urllib import robotparser
>>> parser = robotparser.RobotFileParser()
>>> parser.set_url('https://www.taobao.com/robots.txt')
>>> parser.read()
>>> parser.can_fetch('Hellokitty', 'http://www.taobao.com/article')
False
>>> parser.can_fetch('Baiduspider', 'http://www.taobao.com/article')
True
>>> parser.can_fetch('Baiduspider', 'http://www.taobao.com/product')
False
```
### 一个简单的爬虫
构造一个爬虫一般分为数据采集、数据处理和数据存储三个部分的内容。

Binary file not shown.

After

Width:  |  Height:  |  Size: 5.9 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 6.4 KiB