python爬取实战

教练：FC.Meng

热爱coding的pythoner, 幻想着能靠开源项目实现经济自由的人, 拥有着懒和不折腾不舒服的双重特质.前ThoughtWorks厂公,受敏捷思想的洗礼,努力克服着懒的特性.妄想着用python去改写一切用着不舒服的东西, 并且用C扩展来提升本身的性能.曾靠着python代码混进了某著名企业举办的仅限JAVA/C++的编程大赛的全国前50.
多年开发经验, 软硬通吃, 有C, Java, Python,Ruby, NodeJS, Golang等多种语言开发经验,还折腾过MCU,DSP,FPGA等硬件板子的开发,现就职于本土一家互联网安全初创公司,从事web安全相关产品的架构与研发.对高性能python爬取, restful api, 敏捷开发, 编译系统, 机器学习有着浓厚的兴趣.

主题

内容

python开发基础

1.1 python介绍
1.1.1 python的起源
1.1.2 python介绍
1.2 基础语法
1.2.1 选择,条件控制语句
1.2.2 内置类型
1.2.3 函数与类
1.2.4 异常捕获
1.3 进阶语法
1.3.1 链表解析
1.3.2 with语句
1.3.2 装饰器
1.3.3 异步语法
1.4 高效开发
1.4.1 开发环境的搭建
1.4.2 pycharm, vim, vscode等的使用与快捷键
1.4.3 版本管理, 虚拟环境管理
1.4.4 git使用

爬虫开发入门

2.1 何为爬虫
2.1.1 爬虫的定义与用途
2.1.2 爬虫的几个部分: 爬取，存储, 分析，通告，展示
2.2 搭建测试站点
2.2.1 html, css, js基础
2.2.2 flask基础
2.3 爬虫起步
2.3.1 urlib使用
2.3.2 requests使用
2.3.3 beautifulsoup使用
2.3.4 文件读写

爬虫进阶

3.1 主流python框架介绍
3.1.1 scrapy的使用
3.1.2 selenium的使用
3.2 使用数据库来存储
3.2.1 postgres介绍
3.2.2 redis介绍
3.2.3 elasticsearch介绍
3.3 高性能与分布式
3.3.1 python的并发与并行
3.3.2 多进程,多线程,多协程
3.3.3 消息队列
3.3.4 docker
3.4 其它相关
3.4.1 邮件发送
3.4.2 数据分析
3.4.3 数据展示

爬虫实战

以workershop的形式,带领学员,利用学到的知识,完成一个或多个(视时间而定)python爬取项目

爬取展望

新的方式与方法: 介绍新的的有意思的爬取方式,如使用chrome的headless模式进行爬取, 使用及其学习的方式识别图片中的内容等