Scrapy爬取遇到的一点点问题
2024-04-01 01:58:58
学了大概一个月Scrapy,自己写了些东东,遇到很多问题,这几天心情也不大好,小媳妇人也不舒服,休假了,自己研究了很久,有些眉目了
利用scrapy 框架爬取慕课网的一些信息
步骤一：新建项目
scrapy startproject muke
进入muke
scrapy genspider mukewang imooc.com #mukewang 为爬虫名，imooc.com 是域名，爬虫爬取的范围
步骤二：编写ITEM，定义需要爬取的字段，此处只定义两个字段吧（初学）
步骤三：编写Spider主题，暂时先只爬取title，有些名词用的比较low，莫怪
以上基本的东西就写完了
步骤四：运行爬虫 scrapy crwal mukewang 查看结果 爬取结果较多就不一一列举了
期间遇到一点点问题问题，就是我的爬取结果只限制在第一页，收到一个DEUBG信息：
2018-09-27 12:07:09 [scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to 'www.imooc.com': <GET http://www.imooc.com/course/list?page=2>
2018-09-27 12:07:09 [scrapy.core.engine] INFO: Closing spider (finished)
2018-09-27 12:07:09 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
原来是我的allowed_domains出现问题 将allowed_domains=['www.imooc.com/']改为allowed_domains=['imooc.com']即可实现全部爬取
本次算是初学爬虫，自己写了点东西，但是远远没有达到要求，比如储存到数据库，路漫漫其修远兮，吾将上下而求索！！
最新文章
- the request resource is not available
- <fmt:formatDate>标签的输出格式：
- 在chrome下的文本框sendkeys，提示element can't focus--解决方法
- 禁止用户自己停止SEP - 飞舞的菜刀 - 51CTO技术博客
- iOS - OC NSFileManager 文件管理
- 受限玻尔兹曼机RBM
- C中存储类、链接和内存管理
- Cisco 交换机的操作
- Linux用户与用户组，UID及GID
- css样式实现字体删除线效果
- 4. 泛型_EJ
- Feign性能优化注意事项
- (Beta)Let's-版本测试报告
- Python之turtle画同心圆和棋盘
- Python开发简单爬虫
- Python学习注脚
- MySQL复制日常维护与管理
- Spark ClassNotFoundException $$anonfun$2
- Django中HttpRequest和HttpResponse
- Luogu P2069 【松鼠吃果子】