（爬虫）requests库

一、requests库简介

　　urllib库和request库的作用一样，都是服务器发起请求数据，但是requests库比urllib库用起来更方便，它的接口更简单，选用哪种库看自己。

　　如果没有安装过这个库，需要先 pip install requests 安装。

二、requests库的基本用法

1、发送GET请求

　　通过get方法去请求百度页面：

 import requests

 resp = requests.get('http://www.baidu.com/')

 # text是requests库以自己猜测的解码方式去解码，所以可能会出现乱码的问题

 print(resp.text)

 # content返回的bytes的数据，所以可以根据自己指定的解码方式去解码就不会出现问题

 print(resp.content.decode('utf-8'))

 # url获取当前请求的url

 print(resp.url)

 # encoding获取当前页面的编码方式

 print(resp.encoding)

 # status_code获取当前的状态码

 print(resp.status_code)

　　那么如何添加请求参数和headers请求头信息呢，requests库现在就比urllib库好用简单了，urllib库还需要手动对请求的参数进行编码才能去请求，而requests库则将这个步骤在底层进行封装了，只需要将参数传递进去即可，如下：

 import requests

 url = 'http://www.baidu.com/s'

 headers = {

         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36'

     }

 params = {

     'wd': '林俊杰'

 }

 resp = requests.get(url, params=params, headers=headers)

 print(resp.url)

 with open('baidu.html', 'w', encoding='utf-8') as f:

     f.write(resp.content.decode('utf-8'))

2、发送POST请求

　　我们以拉钩网为例，去爬取拉勾网的职位信息：

 import requests

 url = 'https://www.lagou.com/jobs/positionAjax.json?city=%E5%8C%97%E4%BA%AC&needAddtionalResult=false'

 headers = {

     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36',

     'Referer': 'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput='

     }

 data = {

     'first': 'true',

     'pn': 1,

     'kd': 'python'

 }

 resp = requests.post(url, data=data, headers=headers)

 print(resp.json())

3、使用代理

　　requests库使用代理就非常简单了，只需要在请求的方法（get、post）中添加proxies参数即可：

 import requests

 proxy = {

     'http': '115.218.216.251:9000'

 }

 resp = requests.get(url='http://www.httpbin.org/ip', proxies=proxy)

 print(resp.text)

4、cookie模拟登陆

　　我们可以通过cookie获取到cookie信息：

 import requests

 resp = requests.get('http://www.baidu.com/')

 # cookie 返回cookie对象

 print(resp.cookies)

 # get_dict 将cookie信息以字典的形式返回

 print(resp.cookies.get_dict())

　　urllib库可以使用opener发送多个请求，并且多个请求之间是共享cookie的，requests库也要达到共享cookie的目的，我们可以使用requests库提供的session对象，这里的session不是web中的那个session，这里只是一个会话的对象而已，下面以登录人人网为例，来使用cookie来登录：

 import requests

 login_url = 'http://www.renren.com/PLogin.do'

 dapeng_url = 'http://www.renren.com/880151247/profile'

 headers = {

     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36',

 }

 data = {

     'email': '',

     'password': 'xxxxx'

 }

 session = requests.Session()

 session.post(url=login_url, data=data, headers=headers)

 resp = session.get(url=dapeng_url, headers=headers)

 with open('renren.html', 'w', encoding='utf-8') as f:

     f.write(resp.content.decode('utf-8'))

巴特西