Python爬虫实战

教练：日月光华

高级工程师

日月光华，原中国网通山东分公司数据中心工程师，擅长python编程，尤其是python爬虫、python数据分析和可视化、机器学习等方向。曾担任CPDA大数据公众号培训讲师。

主题

内容

第一部分 爬虫基础 三个半小时
第一章 网络爬虫概述

1.1什么是网络爬虫
1.2Python网络爬虫的技术概况
1.3开发环境的搭建

第二章 requests库入门

2.1 requests库的安装
2.2 requests库的基本用法
2.3 HTTP协议简介

第三章 xapth语法详解

3.1 lxml库的安装和导入
3.2 xpath语法实例详解
3.3 使用chrome浏览器开发者工具
3.4 实例——爬取百度首页并提取信息

第四章 实例——爬取Q房网二手房小区信息

4.1 Q房网小区栏目结构分析
4.2 编写Q房网爬虫代码
4.3 下载小区图片
4.4 编写多线程爬虫

第五章 认识和应对反爬虫

5.1 网站反爬虫的措施
5.2 设置IP代理
5.3反反爬虫策略总结

第六章 模拟登录和验证码的处理

6.1 豆瓣网站登录页面分析
6.2 编写代码模拟登录
6.3 验证码的处理策略
6.4 使用cookies登录

第七章 动态页面的分析方法

7.1 认识动态页面
7.2 动态页面的分析和信息提取
7.3 selenium库的安装和基本用法
7.4 Headless Chrome入门

第八章 selenium实例——爬取新浪微博

8.1 新浪微博登录机制
8.2 登录新浪微博
8.3 分析并爬取新浪微博

第一部分 练习——下载微信文章 半小时

9.1 微信文节的下载分析
9.2 编写微信文节爬虫

第二部分 scrapy爬虫框架 三个半小时
第十章 scrapy框架基础

10.1 安装scrapy框架
10.2 scrapy的目录结构
10.3 scrapy常用命令

第十一章 实例——爬取我爱我家二手房数据

11.1 我爱我家网站分析
11.2 编写spider爬虫
11.3 爬取深层网页
11.4 scrapy框架结构解析

第十二章 应对反爬虫策略

12.1 应对反爬虫的设置
12.2 设置用户代理
12.3 设置IP代理
12.4 scrapy反反爬虫策略总结

第十三章 scrapy数据存储

13.1 数据的快捷存储
13.2 使用pipeline存储数据
13.3 存储数据到Mysql数据库
13.3.1 Mysql数据库的安装
13.3.2 pymysql的安装和使用
13.3.2 存储数据到Mysql
13.4 更适应爬虫的MongoDB数据库
13.4.1 MongoDB的安装
13.4.2 MongoDB的可视化
13.4.3PyMongo的安装和用法
13.4.4 存储数据到MongoDB

第十四章 提交数据和保持登录

14.1 FormRequest登录豆瓣网站
14.2 使用cookies登录豆瓣网站
14.3 实例——爬取Q房网二手房数据

第十五章 crawlspider模板

15.1 crawlspider模板的特点
15.2 crawlspider实例——爬取链家二手房出售数据

第十六章 图片下载和文件下载

16.1 scrapy中配置图片下载和文件下载
16.2 图片下载实例——下载链家二手房图片

第二部分 练习————爬取链家经纪人成交数据 半小时

17.1 链家手机网站结构分析
17.2 多层网页和动态网页的爬取规划
17.3 爬虫的具体实现

第三部分 Scrapy进阶 三个半小时
第十八章 分布式爬虫

18.1 Redis的安装与配置
18.2 scrapy_redis的安装
18.3 在scrapy中配置Redis

第十九章 增量式爬虫

19.1 scrapy去重方案分析
19.2 缓存数据库去重——使用Redis去重
19.3 在scrapy中配置BloomFilter高效去重

第二十章 实例——爬取知乎用户关注关系数据

20.1 知乎网站结构分析
20.2 知乎动态网页的特点
20.3 使用scrapy配合selenium的爬虫实现

第三部分 练习使用scrapy和正则表达式实现知乎爬虫
半小时

练习使用scrapy和正则表达式实现知乎爬虫