import requests

 from bs4 import BeautifulSoup

 import re

 import csv

 #定义爬取函数

 def get_infos(htmls, csvname):

     #信息头

     headers = {

         'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'

     }

     #flag在写入文件时判断是否为首行

     flag = True

     #判断第一页网址，第二页及其后的网址

     for i in range(10):

         if i == 0:

             html = htmls

         else:

             html = htmls + 'index-{}.html'.format(str(i+1))

         res = requests.get(html, headers=headers)

         soup = BeautifulSoup(res.text, 'lxml')

         alls = soup.select('#asyncRatingRegion > li') #选取网页的li节点的内容

         #对节点内容进行循环遍历

         for one in alls:

             paiming = one.div.em.string     #排名

             names = str(one.select('div.mov_pic > a'))  #电影名称并将列表字符串化

             name = re.findall('.*?title="(.*?)">.*?', names, re.S)[0]   #使用正则表达式提取内容

             content = str(one.select('div.mov_con > p.mt3'))    #评论

             realcontent = re.findall('.*?mt3">(.*?)</p>', content, re.S)[0] #同上

             p1 = one.find(name='span', attrs={'class': 'total'}, text=re.compile('\d'))     #评分在两个节点，

             p2 = one.find(name='span', attrs={'class': 'total2'}, text=re.compile('.\d'))

             #判断评分是否为空

             if p1 and p2 != None:

                 p1 = p1.string

                 p2 = p2.string

             else:

                 p1 = 'no'

                 p2 = ' point'

             point = p1 + p2 + '分'

             numbers = one.find(text=re.compile('评分'))   #评分数量

             # 保存为csv

             csvnames = 'C:\\Users\lenovo\Desktop\\' + csvname + '.csv'

             with open(csvnames, 'a+', encoding='utf-8') as f:

                 writer = csv.writer(f)

                 if flag:

                     writer.writerow(('paiming', 'name', 'realcontent', 'point', 'numbers'))

                 writer.writerow((paiming, name, realcontent, point, numbers))

             flag = False

 #调用函数

 Japan_html = 'http://www.mtime.com/top/movie/top100_japan/'

 csvname1 = 'Japan_top'

 get_infos(Japan_html, csvname1)

 Korea_html = 'http://www.mtime.com/top/movie/top100_south_korea/'

 csvname2 = 'Korea_top'

 get_infos(Korea_html, csvname2)

 import csv

 from  matplotlib import pyplot as plt

 #中文乱码处理

 plt.rcParams['font.sans-serif'] =['Microsoft YaHei']

 plt.rcParams['axes.unicode_minus'] = False

 def read_csv(csvname):

     csvfile_name = 'C:\\Users\lenovo\Desktop\\' + csvname + '.csv'

     #打开文件并存入列表

     with open(csvfile_name,encoding='utf-8') as f:

         reader = csv.reader(f)

         header_row = next(reader)

         name = []

         for row in reader:

             name.append(row)

     #取列表中非空元素

     real = []

     for i in name:

         if len(i) != 0:

             real.append(i)

     #去除中文并将数据转换为整形

     t = 0

     ss = []

     for j in real:

         ss.append(int(real[t][4][:-5]))

         t += 1

     return ss

 #绘制对比图形

 All_plt = read_csv('bs1')  #调用函数

 China_plt = read_csv('China_top')

 Japan_plt = read_csv('Japan_top')

 Korea_plt = read_csv('Korea_top')

 shu = list(range(1,101))

 fig = plt.figure(dpi=128, figsize=(10, 6))    #设置图形界面

 plt.subplot(2,1,1)

 plt.bar(shu ,All_plt, align='center', color='green', label='World', alpha=0.6)   #绘制条图形,align指定横坐标在中心，颜色，alpha指定透明度

 plt.bar(shu ,China_plt, color='indigo', label='China', alpha=0.4)   #绘制图形，颜色， label属性用于后面使用legend方法时显示图例标签

 plt.bar(shu ,Japan_plt, color='blue', label='Japan',alpha=0.5)   #绘制图形，颜色，

 plt.bar(shu ,Korea_plt, color='yellow', label='Korea',alpha=0.5)   #绘制图形，颜色，

 plt.ylabel('评论数', fontsize=10)     #纵坐标题目，字体大小

 plt.title('不同地区的电影top100对比', fontsize=10)  #图形标题

 plt.legend(loc='best')

 plt.subplot(2,1,2)

 plt.plot(shu , All_plt, linewidth=1, c='green', label='World')   #绘制图形,指定线宽，颜色，label属性用于后面使用legend方法时显示图例标签

 plt.plot(shu ,China_plt, linewidth=1, c='indigo', label='China', ls='-.')   #绘制图形,指定线宽，颜色，

 plt.plot(shu ,Japan_plt, linewidth=1, c='green', label='Japan', ls='--')   #绘制图形,指定线宽，颜色，

 plt.plot(shu ,Korea_plt, linewidth=1, c='red', label='Korea', ls=':')   #绘制图形,指定线宽，颜色，

 plt.ylabel('comments', fontsize=10)     #纵坐标题目，字体大小

 plt.title('The different top 100 movies\'comments comparison', fontsize=10)  #图形标题

 plt.legend(loc='best')

 '''

 plt.legend()——loc参数选择

 'best' : 0,     #自动选择最好位置

  'upper right'  : 1,

  'upper left'   : 2,

  'lower left'   : 3,

  'lower right'  : 4,

  'right'        : 5,

  'center left'  : 6,

  'center right' : 7,

  'lower center' : 8,

  'upper center' : 9,

  'center'       : 10,

  '''

 plt.savefig('C:\\Users\lenovo\Desktop\\bs1.png')   #保存图片

 plt.show()  #显示图形