Python3 urllib.request库的基本使用

所谓网页抓取,就是把URL地址中指定的网络资源从网络流中读取出来,保存到本地。 在Python中有很多库可以用来抓取网页,我们先学习urllib.request库。

urllib.request库 是 Python3 自带的模块(不需要下载,导入即可使用)

urllib.request库在windows下的路径(C:\Python34\Lib\urllib)

备注:python 自带的模块库文件都是在C:\Python34\Lib目录下(C:\Python34是我Python的安装目录),python第三方模块库都是在C:\Python34\Lib\site-packages 下。

可以通过EditPlus工具或者其他代码查看工具看urllib.request库的相关方法实现的源码。

入门的例子一:用urllib.request 里的urlopen()方法发送一个请求

# 导入urllib.request 库

import urllib.request

# 向指定的url发送请求,并返回服务器响应的类文件对象

response = urllib.request.urlopen("http://admin.bxcker.com")

# 服务器返回的类文件对象支持Python文件对象的操作方法,如read()方法读取文件全部内容,返回字符串

html = response.read()

# 打印响应的内容

print(html)

运行结果:

在PyChram下运行的结果:

在DOS下运行的结果:

在网页查看源码核实:

在浏览器上打开http://admin.bxcker.com, 右键选择“查看源代码”,你会发现,跟我们刚才打印出来的是一模一样。也就是说,上面的例子把登陆首页的全部代码爬了下来。

一个基本的url请求对应的python代码是非常的简单,通过例子,说明是可以通过发送请求,获取响应的内容,然后输出显示响应的内容。

备注:urllib.request 里的 urlopen()不支持构造HTTP请求,不能给编写的请求添加head,无法模拟真实的浏览器发送请求。

通过查看urllib.request库的源码文件,查看“User-agent”默认的是client_version

而client_version = "Python-urllib/%s" % __version__

通过查urllib.request库的源码文件,__version__= sys.version[:3]

在Dos下执行sys.version[:3],显示的是3.4。

通过验证得出结论:urllib.request库的urlopen()方法默认的“User-agent”是本机Python的版本(User-agent:Python-urllib/3.4),对于服务器而言,一下就能识别出这是爬虫。

在我们第一个入门例子里,urlopen()的参数就是一个url地址;但是如果需要执行更复杂的操作,比如增加HTTP报头,必须创建一个 Request 实例来作为urlopen()的参数;而需要访问的url地址则作为 Request 实例的参数。

例子二:用urllib.request 里的request ()方法发送一个请求

import urllib.request

# url 作为Request()方法的参数,构造并返回一个Request对象

request = urllib.request.Request("http://admin.bxcker.com")

# Request对象作为urlopen()方法的参数,发送给服务器并接收响应

response = urllib.request.urlopen(request)

html = response.read()

print(html)

运行结果:跟例子一是一样。

Request实例,除了必须要有 url 参数之外,还可以设置另外两个参数:

data:如果是GET请求,data(默认空),如果是POST请求,需要加上data参数,伴随 url 提交的数据。

headers(默认空):是一个字典,包含了需要发送的HTTP报头的键值对。

通过抓包可以抓到http://admin.bxcker.com 请求的head信息

Accept: text/html

Accept-Encoding: gzip, deflate

Accept-Language: zh-CN,zh;q=0.9

Cache-Control: no-cache

Connection: keep-alive

Cookie:admin-JSESSIONID=2E5020AF574CA3F466A206D8F006C914; LOGIN_USER=%7B%22user%22%3A%7B%22accountNonExpired%22%3Atrue%2C%22accountNonLocked%22%3Atrue%2C%22branchId%22%3A2%2C%22createTime%22%3A%222017-12-15%2015%3A42%3A25%22%2C%22createUserId%22%3A2%2C%22credentialsNonExpired%22%3Atrue%2C%22deleteStatus%22%3Afalse%2C%22enabled%22%3Atrue%2C%22id%22%3A29580%2C%22mobile%22%3A%2211111111179%22%2C%22new%22%3Afalse%2C%22nickName%22%3A%22xiaony%22%2C%22parentId%22%3Anull%2C%22platUserToken%22%3Anull%2C%22proxyId%22%3Anull%2C%22source%22%3A3%2C%22ssoUserId%22%3Anull%2C%22unionid%22%3Anull%2C%22updateTime%22%3A%222018-01-22%2010%3A42%3A03%22%2C%22updateUserId%22%3A29580%2C%22username%22%3A%22xiaony%22%2C%22wxHeadImg%22%3Anull%2C%22wx_openid%22%3Anull%7D%7D

Host: admin.bxcker.com

Pragma: no-cache

Referer: http://admin.bxcker.com/

User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36

Host】:主域 (发请求时,可以不写)

Connection: keep-alive】:保持登录后的长连接

User-Agent】:最重要的参数

Accept】:接受数据的格式,例如:text文本、json等

Accept-Encoding】:数据的压缩方式 (爬虫不是服务器,没有解压方法,不能写)

Accept-Language】:支持的语言 (可以不写)

Cookie】:缓存,Cookie在爬虫里主要获取登录后的状态,跟登录相关的可以用Cookie处理,如果只是获取一个静态页面的数据,就不需要用Cookie。

web项目通过都是通过浏览器去访问,要想真实模拟一个用户用浏览器去访问web项目,在发送请求的时候,会有不同的User-Agent头。 urllib2默认的User-Agent头为:Python-urllib/x.y,所以就需要我们在发request请求的时候添加一个head信息

例子三:用urllib.request 里的request ()方法里加上head信息

import urllib.request

header={"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36"

}

# url 作为Request()方法的参数,构造并返回一个Request对象

request = urllib.request.Request("http://admin.bxcker.com")

# Request对象作为urlopen()方法的参数,发送给服务器并接收响应

response = urllib.request.urlopen(request)

html = response.read()

print(html)

运行结果:

为了验证我们爬虫发的请求,可以用抓包工具去抓我们爬虫发出去的请求,可以看到我们的头文件。

例子四:Request.get_header()与Request.add_header()

 

import urllib.request

url ="http://admin.bxcker.com"

header={"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36"

}

# url 作为Request()方法的参数,构造并返回一个Request对象

request = urllib.request.Request(url)

#也可以通过调用request.add_header() 添加/修改一个特定的header

request.add_header("Connection", "keep-alive")

# 也可以通过调用Request.get_header()来查看header信息

print(request.get_header(header_name="Connection"))

# Request对象作为urlopen()方法的参数,发送给服务器并接收响应

response = urllib.request.urlopen(request)

html = response.read()

#print(html)

 

运行结果:

例子五:随机添加/修改User-Agent

import urllib.request

import random

url = "http://admin.bxcker.com"

#定义一个User-Agent列表

user_agent_list = [

"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36,",

"Mozilla/5.0 (X11; CrOS i686 2268.111.0)... ",

"Mozilla/5.0 (Macintosh; U; PPC Mac OS X.... ",

"Mozilla/5.0 (Macintosh; Intel Mac OS... "

]

#随机抽取一个User-Agent值

user_agent = random.choice(user_agent_list)

# url 作为Request()方法的参数,构造并返回一个Request对象

request = urllib.request.Request(url)

#通过调用Request.add_header() 添加一个特定的header

request.add_header("User-Agent", user_agent)

# 第一个字母大写,后面的全部小写

print(request.get_header("User-agent"))

# Request对象作为urlopen()方法的参数,发送给服务器并接收响应

response = urllib.request.urlopen(request)

html = response.read()

print(html)

运行结果:

最新文章

  1. 盒子 offsetLeft、offsetTop、offsetWidth、getBoundingClientRect等属性解释
  2. gdb 调试多线程
  3. JS中的“!!”
  4. (转)MFC中获得各个类的指针/句柄 ID的总结
  5. 最长连续回文串(最优线性时间O(n))
  6. 检索 COM 类工厂中 CLSID 为 {00024500-0000-0000-C000-000000000046} 的组件失败,原因是出现以下错误: 80070005 拒绝访问
  7. NHibernate考察实例:简单映射
  8. 【转】页面尺寸不一样的PDF页面调整方法
  9. ButterKnife-5.1.2.jar(较低版本的ButterKnife)使用方法
  10. 51nod 1179 最大的最大公约数
  11. Nginx-动态添加模块
  12. 《剑指offer》复杂链表的复制
  13. javaSE-多线程
  14. Oracle 导出的表不全,以及数据库版本不同导入报错
  15. HDU.5628.Clarke and math(狄利克雷卷积 快速幂)
  16. 纯css实现顶部进度条随滚动条滚动
  17. 俩表之间的添加Sql
  18. Atitti python2.7安装 numpy attilax总结
  19. POJ_3368_Frequent values
  20. 针对 FastAdmin 2018-01-19 号的升级 SQL (废)

热门文章

  1. Linux进程实践(5) --守护进程
  2. 【翻译】在Ext JS 5应用程序中如何使用路由
  3. 打包volley
  4. Java-clone总结
  5. 集群增量会话管理器——DeltaManager
  6. android应用资源预编译,编译和打包全解析
  7. UITableView设置单元格选中后只显示一个打勾的三种简单方法(仅供参考)
  8. 线程ava.lang.OutOfMemoryError: unable to create new native thread
  9. ES6之let命令
  10. How--to-deploy-smart-contracts-on