互联网大数据与机器学习算法设计与实践

教练：

转转 首席架构师

转转公司首席架构师／架构算法部负责人，前58集团技术委员会主席，高级系统架构师，“架构之美”公众号作者。擅长系统架构设计，大数据，机器学习等技术领域。代表公司多次参加 Artificial Intelligence Conference、QCon、ArchSummit、SDCC、CCTC、DTCC、Top100、Strata + Hadoop World、WOT 等大会嘉宾演讲，并为《程序员》杂志撰稿 2 篇。 前百度高级工程师，参与百度社区搜索部多个基础系统的设计与实现。毕业于浙江大学。

主题

内容

第一课：互联网大数据与机器学习之大数据知识原理篇

1.什么是大数据以及大数据应用场景是什么；
2.大数据平台如何驱动业务持续增长；
3.大数据平台发展三个阶段是什么（What->Why->How）;
4.大数据平台发展阶段一（What）：是什么，快速描述业务，提供数据原材料;
5.大数据平台发展阶段二（Why）：为什么，分析波动 root cause；
6.大数据平台发展阶段三（How）：怎么做，数据化运营实践落地；

第二课：互联网大数据与机器学习之大数据总体架构篇

1.为什么要构建大数据平台；
2.大数据平台构建的目标与方案是什么；
3.大数据仓库如何建设（数据接入清洗/数据仓库表设计与ETL）；
4.大数据平台化与产品化建设(ODS->DW->DM->APP)；
5.大数据指标体系化、分析框架设计；
6.大数据平台建设的重难点实践；
7.我们的实践案例；

第三课：互联网大数据与机器学习之机器学习知识原理篇

1.机器学习是什么；
2.机器学习与人工智能、深度学习关系；
3.机器学习应用场景是什么；
4.机器学习分类；
5.机器学习评估指标；
6.机器学习常用数学知识；

第四课：互联网大数据与机器学习之机器学习算法篇

1.机器学习算法分类方法；
2.机器学习之监督学习算法（Nave Bayes、LR、GBDT、FM、FFM、DeepFM、FTRL、Deep & Wide等）；
3.机器学习之无监督学习算法（K-Means、PCA、LDA等）；
4.我们的实践案例；

第五课：互联网大数据与机器学习之机器学习流程篇

1.样本如何抽取；
2.如何做特征工程（特征提取，特征离散化，特征交叉等）；
3.如何大规模高效离线训练模型（训练集、测试集、验证集／评估指标AUC、ABTest 等）；
4.模型上线；
5.特征上线；
6.我们的实践案例；

第六课：互联网大数据与机器学习之机器学习平台发展篇

1.机器学习平台之小作坊生产模式；
2.机器学习平台之流水线生产模式；
3.机器学习平台之大规模机器学习模式；
4.机器学习平台之大规模深度学习模式；
5.我们实践案例；

第七课：互联网大数据与机器学习之机器学习关键技术篇

1.用户画像系统；
2.系统冷启动；
3.评测指标与系统；
4.ABTest平台；
5.我们的实践案例；

第八课：互联网大数据与机器学习之语言工具篇

1.Python与Scala如何选择；
2.Spark使用及其性能优化；
3.Hadoop使用及其使用优化；
4.Redis使用及其使用优化；
5.Elasticsearch使用及其使用优化；
6.我们实践案例；

第九课：互联网大数据与机器学习之机器学习案例篇（推荐系统线上工程架构设计与实践）

1.互联网大型系统架构演进（单体、水平分层、SOA、微服务架构）；
2.推荐系统架构演进（石器时代、铁器时代、蒸汽时代）；
3.我们的实践案例；

第十课：互联网大数据与机器学习之机器学习案例篇（推荐系统离线工程架构实践）

1.离线训练作坊模式（单机）；
2.离线训练流水线模式（ODS、DW、DM、分布式训练、线上预测等/DataPipeline、T raining Pipeline、Model Serving）；
3.离线训练平台化模式（服务众多业务线，每个业务线一键接入）；
4.在线特征系统生产调度架构演进；
5.我们的实践案例；

第十一课：互联网大数据与机器学习之机器学习案例篇（推荐系统召回算法设计与实践）

1.商品主题模型；
2.商品物品词模型；
3.基于内容商品相似度模型；
4.基于用户行为的CF模型演进；
5.基于随机游走模型；
6.实时召回模型；
7.我们的实践案例；

第十二课：互联网大数据与机器学习之机器学习案例篇（推荐系统排序算法设计与实践）

1.Al l In One阶段；
2.分层排序阶段；
3.人工权重阶段；
4.机器学习模型阶段；
5.实时模型阶段；
6.我们的实践案例；

第十三课：互联网大数据与机器学习之机器学习案例篇（搜索系统工程以及召回排序算法设计与实践）

1.搜索系统工程架构演进；
2.搜索系统召回算法演进；
3.搜索系统排序算法演进；
4.我们的实践案例；