摘要：本文将介绍用Python进行的爬虫的各种练习以及涉及到的各种知识，包括Http协议，cookie等等

工具

Fiddler

Python默认不用代理，所以fiddler不能截取它的包。如果想用用fiddler来分析Python的网络访问，需要在Python编程里面设置代理

Python does not use proxy by default, so fiddler cannot intercept its network traffic. You may need to change the Python program a little. Here is another thread on how to see proxy for Python programs.

参考：

[1] Fiddler 如何捕获Python3中的Http访问

[2] fiddler-doesnt-capture-python-http-request & Proxy with urllib2

[3] Fiddler 教程

HTTP协议

HTTP是Hyper Text Transfer Protocol（超文本传输协议）的缩写。是用于从WWW服务器传输超文本到本地浏览器的传送协议。

HTTP的请求响应模型

这样就限制了使用HTTP协议，无法实现在客户端没有发起请求的时候，服务器将消息推送给客户端。

HTTP协议是一个无状态的协议，同一个客户端的这次请求和上次请求是没有对应关系。

工作流程

一次HTTP操作称为一个事务，其工作过程可分为四步：

1）首先客户机与服务器需要建立连接。只要单击某个超级链接，HTTP的工作开始。

2）建立连接后，客户机发送一个请求给服务器，请求方式的格式为：统一资源标识符（URL）、协议版本号，后边是MIME信息包括请求修饰符、客户机信息和可能的内容。

3）服务器接到请求后，给予相应的响应信息，其格式为一个状态行，包括信息的协议版本号、一个成功或错误的代码，后边是MIME信息包括服务器信息、实体信息和可能的内容。

4）客户端接收服务器所返回的信息通过浏览器显示在用户的显示屏上，然后客户机与服务器断开连接。

如果在以上过程中的某一步出现错误，那么产生错误的信息将返回到客户端，有显示屏输出。对于用户来说，这些过程是由HTTP自己完成的，用户只要用鼠标点击，等待信息显示就可以了

数据结构

The following example illustrates a typical message exchange for a GET request  on the URI "http://www.example.com/hello.txt":

Client request:

GET /hello.txt HTTP/1.1

User-Agent: curl/7.16.3 libcurl/7.16.3 OpenSSL/0.9.7l zlib/1.2.3

Host: www.example.com

Accept-Language: en, mi

Server response:

HTTP/1.1 200 OK

Date: Mon, 27 Jul 2009 12:28:53 GMT

Server: Apache

Last-Modified: Wed, 22 Jul 2009 19:15:56 GMT

ETag: "34aa387-d-1568eb00"

Accept-Ranges: bytes

Content-Length: 51

Vary: Accept-Encoding

Content-Type: text/plain

Hello World! My payload includes a trailing CRLF.

请求报头

请求报头允许客户端向服务器端传递请求的附加信息以及客户端自身的信息。

常用的请求报头

Accept

Accept请求报头域用于指定客户端接受哪些类型的信息。eg：Accept：image/gif，表明客户端希望接受GIF图象格式的资源；Accept：text/html，表明客户端希望接受html文本。

Accept-Charset

Accept-Charset请求报头域用于指定客户端接受的字符集。eg：Accept-Charset:iso-8859-1,gb2312.如果在请求消息中没有设置这个域，缺省是任何字符集都可以接受。

Accept-Encoding

Accept-Encoding请求报头域类似于Accept，但是它是用于指定可接受的内容编码。eg：Accept-Encoding:gzip.deflate.如果请求消息中没有设置这个域服务器假定客户端对各种内容编码都可以接受。

Accept-Language

Accept-Language请求报头域类似于Accept，但是它是用于指定一种自然语言。eg：Accept-Language:zh-cn.如果请求消息中没有设置这个报头域，服务器假定客户端对各种语言都可以接受。

Authorization

Authorization请求报头域主要用于证明客户端有权查看某个资源。当浏览器访问一个页面时，如果收到服务器的响应代码为401（未授权），可以发送一个包含Authorization请求报头域的请求，要求服务器对其进行验证。

Host（发送请求时，该报头域是必需的）

Host请求报头域主要用于指定被请求资源的Internet主机和端口号，它通常从HTTP URL中提取出来的，eg：

我们在浏览器中输入：http://www.guet.edu.cn/index.html

浏览器发送的请求消息中，就会包含Host请求报头域，如下：

Host：www.guet.edu.cn

此处使用缺省端口号80，若指定了端口号，则变成：Host：www.guet.edu.cn:指定端口号

User-Agent

我们上网登陆论坛的时候，往往会看到一些欢迎信息，其中列出了你的操作系统的名称和版本，你所使用的浏览器的名称和版本，这往往让很多人感到很神奇，实际上，服务器应用程序就是从User-Agent这个请求报头域中获取到这些信息。User-Agent请求报头域允许客户端将它的操作系统、浏览器和其它属性告诉服务器。不过，这个报头域不是必需的，如果我们自己编写一个浏览器，不使用User-Agent请求报头域，那么服务器端就无法得知我们的信息了。

请求报头举例：

GET /form.html HTTP/1.1 (CRLF)

Accept:image/gif,image/x-xbitmap,image/jpeg,application/x-shockwave-flash,application/vnd.ms-excel,application/vnd.ms-powerpoint,application/msword,*/* (CRLF)

Accept-Language:zh-cn (CRLF)

Accept-Encoding:gzip,deflate (CRLF)

If-Modified-Since:Wed,05 Jan 2007 11:21:25 GMT (CRLF)

If-None-Match:W/"80b1a4c018f3c41:8317" (CRLF)

User-Agent:Mozilla/4.0(compatible;MSIE6.0;Windows NT 5.0) (CRLF)

Host:www.guet.edu.cn (CRLF)

Connection:Keep-Alive (CRLF)

(CRLF)

响应报头

响应报头允许服务器传递不能放在状态行中的附加响应信息，以及关于服务器的信息和对Request-URI所标识的资源进行下一步访问的信息。

常用的响应报头

Location

Location响应报头域用于重定向接受者到一个新的位置。Location响应报头域常用在更换域名的时候。

Server

Server响应报头域包含了服务器用来处理请求的软件信息。与User-Agent请求报头域是相对应的。下面是

Server响应报头域的一个例子：

Server：Apache-Coyote/1.1

WWW-Authenticate

WWW-Authenticate响应报头域必须被包含在401（未授权的）响应消息中，客户端收到401响应消息时候，并发送Authorization报头域请求服务器对其进行验证时，服务端响应报头就包含该报头域。

eg：WWW-Authenticate:Basic realm="Basic Auth Test!" //可以看出服务器对请求资源采用的是基本验证机制。

https://www.w3.org/Protocols/#Specs

爬虫编程

简单爬虫

import urllib

import sys

url = "http://www.healforce.com/cn/index.php?ac=article&at=read&did=444"

webPage=urllib.urlopen(url)

data = webPage.read()

data = data.decode('utf-8').encode(sys.getfilesystemencoding())

设置代理的代码如下（便于fiddler抓包分析）

import urllib2

import sys

url = "http://www.healforce.com/cn/index.php?ac=article&at=read&did=444"

proxy = urllib2.ProxyHandler({'http': '127.0.0.1:8888'})

opener = urllib2.build_opener(proxy)

urllib2.install_opener(opener)

webPage=urllib2.urlopen(url)

data = webPage.read()

data = data.decode('utf-8').encode(sys.getfilesystemencoding())

print(data)

print(type(webPage))

print(webPage.geturl())

print(webPage.info())

print(webPage.getcode())

打印结果如下

>>> print(type(webPage))

<type 'instance'>

>>> print(webPage.geturl())

http://www.healforce.com/cn/index.php?ac=article&at=read&did=444

>>> print(webPage.info())

Date: Thu, 11 Aug 2016 10:38:48 GMT

Server: Apache/2.4.10 (Win32) OpenSSL/1.0.1h

Connection: close

Transfer-Encoding: chunked

Content-Type: text/html; charset=utf-8

>>> print(webPage.getcode())

200

用Fiddler来抓取数据分析

1. 200表示访问成功

2. 访问的地址

3. Python生成的请求表头

4. 响应返回的html，这个跟print(data)返回的是一样的

伪装成流程器爬虫

有些网页，如果不是从浏览器发起的访问，它会拒绝响应。我们可以自己来写报头，然后发送给网页浏览器，它会认为你是一个正常的浏览器，这样就可以访问了。

import urllib2

url = "http://www.healforce.com/cn/index.php?ac=article&at=read&did=444"

webheader = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0'}

proxy = urllib2.ProxyHandler({'http': '127.0.0.1:8888'})

opener = urllib2.build_opener(proxy)

urllib2.install_opener(opener)

request = urllib2.Request(url,headers=webheader)

webPage=urllib2.urlopen(request)

data = webPage.read()

print(data)

可以添加更多的header，从Fiddler截图中可以看到Client里的Header内容增加了。

返回内容没有变化

import urllib2

url = "http://www.healforce.com/cn/index.php?ac=article&at=read&did=444"

webheader = {

'Connection': 'Keep-Alive',

'Accept': 'text/html, application/xhtml+xml, */*',

'Accept-Language': 'en-US,en;q=0.8,zh-Hans-CN;q=0.5,zh-Hans;q=0.3',

'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko',

#'Accept-Encoding': 'gzip, deflate',

'Host': 'www.douban.com',

'DNT': '1'

}

proxy = urllib2.ProxyHandler({'http': '127.0.0.1:8888'})

opener = urllib2.build_opener(proxy)

urllib2.install_opener(opener)

request = urllib2.Request(url,headers=webheader)

request.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0')

webPage=urllib2.urlopen(request)

data = webPage.read()