大数据分析及可视化技术应用实战

1.大数据分析应用开发工程师

2.大数据分析项目的规划咨询管理人员

3.大数据分析项目的IT项目高管人员

4.大数据分析与挖掘处理算法应用工程师

5.大数据分析集群运维工程师

6.大数据分析项目的售前和售后技术支持服务人员

一、培训收益

通过此次课程培训，可使学习者获得如下收益：

1.理解和掌握数据分析基础及实战;

2.理解数据挖掘理论及核心技术;

3.掌握数据挖掘算法原理及实现;

4.掌握数据挖掘建模实战;

5.掌握Python应用实战;

二、培训特色

1.本课程尽量避开数学公式，按照“讲清思想方法原理—结合具体案例—Python语言实现细节”思路，让即使是零基础的学员，掌握数据挖掘和可视化的基本思路和模式，打下未来深入的良好基础，能在工作和学习中结合具体问题立马上手操作解决;

2.课程注重学练结合的方法，充分调动大家思考的积极性，在做中掌握相关知识和技能;

3.课程紧紧抓住基于Python语言的数据挖掘和可视化的重点和难点，详细的分析和讲解，在理解难、容易出错的地方反复提醒，以便学员在课后容易的进行自己复习和相关拓展。

三、授课大纲

第一天上午数据分析基础及实战第一讲Python基础

讲解Python背景、国内发展状况、基础语法、数据结构及绘图操作等内容。特别针对向量计算这块，着重介绍Python在这方面的优势及用法。

第二讲统计分析基础

讲解统计分析基础，包括统计学基本概念，假设检验，置信区间等基础，并结合数据案例说明其使用场景和运用方法。介绍数据分析流程和常见分析思路，并结合案例进行讲解。

第三讲Python数据处理基础

从数据接入、数据统计、数据转换等几个方面进行讲解。数据接入包含接入MySQL、Oracle、Hadoop等常见数据库操作;数据统计包含Pandas包的具体用法和讲解。

第一天下午数据挖掘理论及核心技术第四讲数据挖掘基础

讲解数据挖掘基本概念，业务理解、数据理解、数据准备、建立模型、模型评估、模型部署各环节的工作内容及相关技术;结合业界经典场景，讲解数据挖掘的实施流程和方法体系。

第五讲数据挖掘核心技术

细致讲解抽样、分区、样本平衡、特征选择、训练模型、评估模型等数据挖掘核心技术原理，并结合案例讲解其具体实现和用法。尤其针对样本平衡，重点讲解人工合成、代价敏感等算法;针对特征选择，重点讲解特征选择的核心思路，并结合Python进行案例演示。

第六讲Python数据挖掘工具

讲解Orange数据挖掘工具的用法，包括各项功能的具体使用。

第二天上午数据挖掘算法原理及实现第七讲特征降维算法及Python实现

讲解主成分及因子分析原理，并结合案例进行Python实现。

第八讲关联规则算法及Python实现

讲解Apriori关联规则算法原理，并结合案例进行Python实现。

第九讲决策树算法及Python实现

讲解ID3、C4.5、C5.0以及CART决策树算法的实现原理，并结合案例进行Python实现。

第十讲聚类算法及Python实现

讲解Kmeans、系统聚类算法原理，并结合Python进行案例讲解。

第二天下午数据挖掘建模实战 

第十一讲基于乳腺癌数据进行降维分析并建立分类模型

实战部分：基于乳腺癌数据进行降维处理，并尝试建立分类评估模型。旨在通过该模型，并潜在的乳腺癌患者进行识别。

第十二讲基于在线零售数据建立关联规则模型

实战部分：基于在线零售数据，经过一定的处理，对该数据进行关联规则建模，旨在从此数据中挖掘出潜在的规则，对业务运营进行指导决策。

第十三讲LendingClub信贷违约分析案例

实战部分：基于Lending

Club信贷违约数据，尝试从多个不同的维度进行数据分析，旨在发现一些有价值的信息，同时基于该数据，经过一定的处理，建立信贷违约识别模型，旨在对信贷业务办理提供模型支持，降低违约风险。

第十四讲航空公司客户分群案例

实战部分：基于航空公司的业务诉求，结合历史乘客数据，建立客户分群模型，旨在对客户进行差异化营销活动，提高客户粘性和价值转化。

第三天上午Python应用实战(一)第十五讲Python自然语言处理原理及案例

讲解自然语言处理基本概念和技法，包含分词、关键字提取、文摘提取、文本分类、主题模型、word2vec等内容。并使用Python进行案例讲解。

第十六讲Python网络爬虫及案例

讲解爬虫实现的基本原理，并介绍requests、lxml、BeautifulSoup、grab、scrapy、pyspider

、cola等包和框架的使用，同时结合真实案例进行演示。

第十七讲社交关系图分析及Python案例

讲解社交关系图分析的基本原理和使用场景，介绍networkx、igraph包的用法，此外，介绍neo4j数据库，并结合py2neo包进行讲解，通过具体的案例，讲解社交关系图的构建和具体实现过程。

第三天下午Python应用实战(二)第十八讲数据分析图表及Python案例

讲解常用的数据分析图表及其使用场景，同时结合matplotlib、pycha、pyecharts、ggplot、Bokeh、HoloViews、mpld3、plotly、pygal等包进行案例讲解。

第十九讲使用Notebook编写数据分析报告

讲解使用Notebook编写数据分析报告的具体方法，并结合案例讲解其用法。

第二十讲Dash可视化开发实战

介绍Dash的UI、Server、Reactivity、控件等内容，同时讲解一个用Dash实现数据分析功能(兼图表)的实际案例，搭建服务器，在企业内部实现轻量级数据分析应用。

第四天学习考核与业内经验交流

游老师　计算机硕士，大数据分析、挖掘、可视化专家，高级培训讲师，曾服务于华为技术有限公司等多家企业，专注于机器学习、数据挖掘、大数据、知识图谱等领域的研究、设计与实现，在互联网、电信、电力、军工等行业具有丰富的工程实践经验，对空间分析、欺诈检测、广告反作弊、推荐系统、客户画像、客户营销建模、知识抽取、智能问答、可视化分析、预测分析、系统架构、大数据端到端解决方案等方面具有深刻理解，多次作为Python语言会议重要嘉宾出席会议并发表主题演讲，著有多本相关技术的书籍。

赵老师　计算机博士，目前主要研究方向包括电子推荐、智能决策和大数据分析等。主持国家自然科学基金2项、中国博士后科研基金、上海市浦江人才、IBM Shared University Research以及多项企业合作课题等项目。已在《管理科学学报》、《系统工程学报》、Knowledge and Information Systems ,Information Processing & Management，Information Systems Frontiers等国内外刊物和学术会议发表论文90多篇，其中被SCI、EI收录40多篇。出版著作和教材《智能化的流程管理》、《商务智能（第四版）》、《商务智能 数据分析的管理视角（第三版）》、《数据挖掘实用案例集》等多部。

张老师　天津大学软件工程硕士，10多年的IT领域相关技术研究和项目开发工作，在长期软件领域工作过程中，对软件企业运作模式有深入研究，熟悉软件质量保障标准ISO9003和软件过程改进模型CMM/CMMI，在具体项目实施过程中总结经验，有深刻认识。对软件开发整个流程非常熟悉，能根据项目特点定制具体软件过程，并进行项目管理和监控，有很强的软件项目组织管理能力。对C/C++ 、HTML 5、python、Hadoop、java、java EE、android、IOS、大数据、云计算有比较深入的理解和应用，具有较强的移动互联网应用需求分析和系统设计能力，熟悉Android框架、IOS框架等技术，了解各种设计模式，在项目中灵活运用。