【一】，python简单爬虫实现

一：

1.获取当前页的课程名称，地址：https://www.ichunqiu.com/courses/webaq

2.选取其中一门课程名称查看源代码：

代码如下：

<p class="coursename" title="Kaltura 远程代码执行漏洞（CVE-2017-14143）" onclick="javascript:window.open

3.正则表达式获取课程名称：

#coding=utf-8
import re
html = '''
<!DOCTYPE html>
<html>
#此处为需要爬去页面的源代码
</html>
'''
title = re.findall(r'<p class="coursename" title="(.*?)" onclick',html)
print (title)

执行结果如下：页面所以课程名称获取到

遍历：

#coding=utf-8
import re
html = '''
<!DOCTYPE html>
<html>
#此处为需要爬去页面的源代码
</html>
'''
title = re.findall(r'<p class="coursename" title="(.*?)" onclick',html)
# print (title)
for i in  title:
    print(i)

效果如下：

二：urllib使用

（注：此处python为3.7，与2.x有点区别）

定制请求头：urllib.urlopen()

下载文件：urllib.urlretrieve()

1.向www.baidu.com发起请求：

import urllib.request   #导入urllib和urllib2库

url = urllib.request.urlopen('http://www.baidu.com') #定义一个地址
r = url.read() #用urlib向百度发起请求

print (r)#查看发起请求的内容

结果如下：

2.下载百度图片：

图片地址如下：

https://www.baidu.com/img/bd_logo1.png?where=super

代码：

urllib.request.urlretrieve('https://www.baidu.com/img/bd_logo1.png?where=super',filename='E:\\Pic\\python\\123.png')

效果如下，图片下载成功：

三：requests

1.window 下requests安装：

查看python路径：

下载requests:

pip install requests

示例：向url发起get请求

查看响应内容：

方法1：

响应内容
r.test

方法2:

二进制响应内容>>> print (r.content)
或
r.content

定制请求头：

url = 'http://www.baidu.con'
headers = {'content-type':'application/json'}
r = requests.get(url,headers=headers)

查看状态码：

r.status_code

查看响应头：

r.headers

查看Cookies:

r.cookies

timeout设置超时：

>>> requests.get('http://www.baidu.com',timeout=0.001)

巴特西

【一】，python简单爬虫实现

最新文章

热门文章