网络爬虫开发

教练：W.W

重庆韬翔网络科技有限公司 创始人兼CEO

畅销书《精通Python网络爬虫》作者，资深IT技术专家、大数据专家和软件开发工程师，从事大型软件开发与技术服务多年，现任重庆韬翔网络科技有限公司、上海萌优电子商务有限公司创始人兼CEO，国家专利发明人。
精通Python技术，在Python网络爬虫、Python机器学习、Python数据分析与挖掘、Python WEB开发等多个领域都有丰富的实战经验。

主题

内容

第一天
网络爬虫项目基础与验证码处理
1.Scrapy基础及常见坑实战

1.1.Scrapy安装常见错误解决技巧
1.2.Scrapy基础指令实战
1.3.XPath表达式
1.4.第一个简单的Scrapy爬虫项目
1.5.Items编写实战
1.6.爬虫编写实战
1.7.Pipelines编写实战
1.8.编写百度自动信息搜索爬虫
1.9.将爬取的信息自动写入数据库

2.浏览器伪装技术实战

2.1.浏览器伪装的原因与技术原理
2.2.将爬虫伪装成浏览器实战
2.3.伪装浏览器批量爬CSDN博客博文

3.自动进行HTTP请求实战

3.1.自动提交POST与GET实战
3.2.Cookie处理
3.3.自动登陆豆瓣网并爬取登陆后页面

4.验证码处理实战

4.1.验证码处理思路（接口处理法、半自动处理、自动识别）
4.2.豆瓣网爬虫遇验证码时处理实战--半自动处理
4.3.豆瓣网爬虫遇验证码时处理实战--接口处理

5.本章小结

本章小结

第二天
反爬破解手段实战
1.知己知彼-了解服务器常见的反爬手段与攻克思路

解服务器常见的反爬手段与攻克思路

2.反爬破解手段--抓包分析获取JS文件实战

2.1.抓包工具Fiddler的使用实战
2.2.抓包分析携程实战
2.3.自动爬取携程首页旅游产品（隐藏在JS文件中）实战
2.4.登陆时的抓包分析实战

3.反爬破解手段--用户代理池实战

3.1.什么是用户代理池
3.2.用户代理池构建实战
3.3.下载中间件实战
3.4.用户代理池防爬实战

4.反爬破解手段--IP池实战

4.1.什么是IP池？
4.2.代理IP资源的获取
IP池构造实战

第三天
构建高性能爬虫：异常处理、分布式爬虫构建
1.让爬取具有顽强的生命力-异常处理

1.1.异常处理的必要性
1.2.如何进行异常处理
1.3.异常处理实战

2.如何提高爬虫性能与效率

2.1.如何提高爬虫性能与效率
2.2.多线程
2.3.并发规划规则

3.分布式爬虫构建实战

3.1.什么是分布式爬虫
3.2.如何构建分布式爬虫项目

4.数据去重处理实战

4.1.简单的数据去重方案
4.2.去重进阶-布隆过滤器使用实战
4.3.使用布隆过滤器实现网址去重
4.4.使用布隆过滤器实现数据去重

5.PhantomJS与Selenium技术实战

5.1.高难度隐藏数据的获取思路
5.2.PhantomJS+Selenium基础
腾讯动漫爬虫项目与反反爬处理实战