数据分析与数据挖掘最佳实践

教练：戴辉

微软 产品经理

曾任微软AdCenter商业智能产品经理，微软中国MSDN和TechNet的ETL版块的研发分享工作，企业级的数据仓库架构；建模；ETCL过程：包括数据的清洗，抽取，转换，加载等技术，对ETCL有比较深刻的了解和设计思想；搭建OLAP；前端展现和数据挖掘；数据整合与集成；海量数据处理，多次处理开发基于海量数据的项目。精通工具为：J2EE架构，.NET架构，Oracle，OWB，Informatica, SQL Server 2000及SQL Server 2005数据仓库相关工具，熟悉主流BI开发工具，Reporting Servers, ProClarity, Brio, BO等前端展现工具等。

主题

内容

专题一：
BI基础知识

简述：
介绍数据仓库与数据挖掘基本概念，BI体系架构， BI工具介绍及其应用，针对行业提供行业解决方案和案例分析。
内容一：数据仓库基本概念
1、数据仓库的来源及定义
2、数据仓库的应用领域
3、数据挖掘的来源及定义
4、数据挖掘的应用领域
内容二：BI的架构
1、BI体系介绍
2、数据仓库介绍
3、ETL介绍
4、多维数据库介绍
5、前端展现介绍
6、数据挖掘模型介绍
内容三：BI工具介绍
1、ETL工具---SSIS介绍
2、OLAP工具---SSAS介绍
3、报表工具---SSRS介绍
4、数据挖掘工具---SSAS中的挖掘模型
内容四、BI在行业中的应用
1、现代企业BI需求概述
2、电力行业案例分析
3、生产制造行业案例研究
4、医药行业案例分析
5、BI系统数据更新与维护

专题二：
数据仓库架构设计与完整流程详解

简述：介绍数据仓库设计的基本原则和数据仓库的架构设计方式，以及构建数据仓库的核心步骤，提供ETL，OLAP，报表等整体解决方案和设计方法。
内容一、数据仓库设计
1、数据仓库设计原则与模型搭建
2、星型架构与雪花型架构
3、事实表与维度表的设计
4、逻辑设计与物理设计
5、数据仓库设计的常用方法
6、数据仓库设计技巧总结
7、数据仓库案例分析
内容二、ETL
1、数据集成方法
2、数据抽取
3、数据转换
4、数据加载
5、ETL调度策略
6、缓慢变化维度和时间戳的处理
7、ETL高级技巧
8、ETL案例分析
内容三：OLAP模型设计
1、OLAP的应用场合
2、OLAP模型搭建
3、统一维度模型UDM
4、确定维度、量度与事实的关系
5、使用计算成员
6、使用KPI
7、OLAP中的高级应用
内容四：前端展现分析
1、多维分析报表
2、报表设计
3、报表开发
4、报表分发和定制
5、报表权限管理
6、报表集成

专题三：
数据挖掘架构设计与完整流程详解

简述：
九种数据挖掘算法与模型详解，数据挖掘的设计与实施流程，数据挖掘查询语言的使用等，重点对决策树算法、关联规则算法、聚类算法等给出详细设计和处理流程。
内容一：九种数据挖掘算法
1、 九种挖掘算法应用的背景
2、 决策树算法与模型设计
3、 聚类算法与模型设计
4、 关联规则算法与模型设计
5、 贝叶斯算法与模型设计
6、 时间序列算法与模型设计
7、 其他挖掘算法与模型设计
内容二：常用挖掘模型详解
1、决策树算法详解及工具实现
2、聚类算法详解及工具实现
3、关联规则算法详解及工具实现
4、贝叶斯算法详解及工具实现
5、时间序列算法详解及工具实现
6、数据挖掘模型评估
内容三：数据挖掘的流程
1、数据清洗准备
2、数据预处理
3、选择数据挖掘模型
4、数据挖掘模型训练
5、更新算法模型
6、模型评估
7、部署与应用
内容四：DMX语言
1、DMX语法结构
2、使用DMX创建挖掘模型
3、使用DMX将挖掘结果导出
4、使用DMX进行挖掘模型参数设置

专题四：
数据仓库与数据挖掘项目案例分析

简述：
大型数据仓库与数据挖掘项目设计和实施，重点对项目架构设计和数据完整处理流程做重点分析和详细介绍，针对大型数据仓库项目，提供了完备的异构数据源集成方案，以及ODS和缓慢变化维度等的应用技巧，针对数据挖掘项目给出完整设计思路和数据处理技术应用。
内容一：Novartis大型数据仓库项目
1、项目介绍
2、复杂多系统多数据源的特点
3、ODS的使用
4、整体项目架构设计
5、ETL流程设计
6、缓慢变化维度的使用
7、抽取策略的制定
8、OLAP与报表的设计和使用
9、数据仓库更新技巧
内容二：MSN数据挖掘项目
1、项目介绍
2、项目中的海量数据
3、数据挖掘算法
4、数据挖掘模型构建
5、数据的预处理技术
6、对挖掘模型进行训练
7、展示数据挖掘模型结果
8、数据挖掘模型评估
内容三：AdventureWorks整体项目案例
1、案例介绍
2、ETL流程详解
3、OLAP流程详解
4、前端报表流程详解
5、数据挖掘流程详解