Python爬虫开发与项目实战

教练：日月光华

高级工程师

日月光华，原中国网通山东分公司数据中心工程师，擅长python编程，尤其是python爬虫、python数据分析和可视化、机器学习等方向。曾担任CPDA大数据公众号培训讲师。

主题

内容

爬虫基础

1.1搭建开发环境及网络爬虫概述
1.1.1搭建开发环境
1.1.2python爬虫概述和通用爬虫结构
1.2 手写简单爬虫
1.2.1 requests包的用法详解
1.2.2 网页信息提取利器：xpath语法详解
1.2.3 实战 - 爬取Q房网小区信息
1.2.4 使用IP代理和应对反爬虫
1.2.5 模拟登录豆瓣和验证码的处理
1.3 动态页面的爬取
1.3.1爬取动态网站的神器selenium简介
1.3.2实战 - 使用selenium登录并爬取新浪微博
1.3.3实战 - 使用selenium和phontomjs浏览器
1.4学员动手练习

Scrapy爬虫框架

2.1 scrapy爬虫基础
2.1.1 scrapy简介与安装
2.1.2 scrapy常用命令和用法
2.2 scrapy爬虫实战
2.2.1 深层网页的爬取 - 爬取我爱我家二手房数据
2.2.2 使用用户代理和IP代理及应对反爬虫策略
2.3 scrapy爬虫进阶
2.3.1 MongoDB的使用及存储数据到数据库
2.3.2 实战 - 向网站提交数据并爬取Q房网二手房数据
2.3.3 实战 - 使用cookies登录豆瓣网站及图片的下载
2.3.4 实战 - 使用crawlspider模板爬取新浪新闻
2.4学员动手练习

Scrapy爬虫深入

3.1 增量式爬虫
3.1.1 scrapy去重方案
3.1.2 BloomFilter算法简介
3.1.3 在scrapy中配置BloomFilter
3.2 分布式爬虫
3.2.1 Redis的安装、配置与操作
3.2.2 scrapy集成Redis
3.2.3 MongoDB集群
3.3 scrapy分布式爬虫实战
3.3.1 实战 - 爬取链家网经纪人成交数据
3.4学员动手练习