WebMagic in Action

Little book of WebMagic.

WebMagic是我业余开发的一款简单灵活的爬虫框架。基于它你可以很容易的编写一个爬虫。

这本小书以WebMagic入手，一方面讲解WebMagic的使用方式，另一方面讲解爬虫开发的一些惯用方案。

文章预览请点http://webmagic.io/docs/，页面基于gitbook进行构建。

本文档遵循CC-BYNC协议。

1.WebMagic概览

WebMagic项目代码分为核心和扩展两部分。核心部分(webmagic-core)是一个精简的、模块化的爬虫实现，而扩展部分则包括一些便利的、实用性的功能。WebMagic的架构设计参照了Scrapy，目标是尽量的模块化，并体现爬虫的功能特点。

这部分提供非常简单、灵活的API，在基本不改变开发模式的情况下，编写一个爬虫。

扩展部分(webmagic-extension)提供一些便捷的功能，例如注解模式编写爬虫等。同时内置了一些常用的组件，便于爬虫开发。

另外WebMagic还包括一些外围扩展和一个正在开发的产品化项目webmagic-avalon。

最新文章

  1. AC日记——楼房 codevs 2995
  2. Java读写文件的几种方法
  3. 轻松掌握：JavaScript装饰者模式
  4. Android系统自带APP分析——短信app
  5. oracle进程
  6. NFinal学习笔记 03—代码生成器
  7. 自学html5要花多长时间
  8. 一起来学linux：SSH远程登陆
  9. @getMapping与@postMapping
  10. android获取Context
  11. 使用Razor Generator构建模块化ASP.NET MVC应用程序
  12. PS滤镜给城市夜空照片添加满天星
  13. [转]angular2中ng alerts的使用教程
  14. 开启mac上印象笔记的代码块
  15. WPF ListBox的进阶使用（一）
  16. solr高亮设置以及摘要
  17. CentOS工作内容（四）主机禁ping
  18. spring-cloud: eureka之：ribbon负载均衡配置（一）
  19. 学习socket的小例子
  20. iPad UIPopoverController弹出窗口的位置和坐标

热门文章

  1. 对《cookie之困》的一些总结与思考
  2. TPFrame框架之robot模块的基本使用
  3. 【转】Mac端包管理工具——Homebrew简介及安装
  4. Cent OS 6.5下源码安装php7.2
  5. hdf5 AttributeError: 'UnImplemented' object has no attribute 'read'
  6. Talking appsettings.json in Asp.Net Core
  7. css写的常见图形
  8. MYSQL:alter语句中change和modify的区别
  9. UVA10341-Solve It-二分查找
  10. 状压dp入门第一题 poj3254