Python是一門解釋性語言,僅次于JAVA/C/C++/C#最受歡迎的語言,可應用在大數(shù)據(jù)語言。易學,易懂,功能強大。其中有著大量的擴展庫來實現(xiàn)數(shù)據(jù)分析與數(shù)據(jù)挖掘功能。
第一部分:Python語言基礎
目的:掌握基本的Python編程思想與編程語句,熟悉常用數(shù)據(jù)結構的操作
1、Python簡介
2、開發(fā)環(huán)境搭建
? ?Python的安裝
? ?擴展庫的安裝
3、掌握Python的簡單數(shù)據(jù)類型
? ? 字符串的使用及操作
? ?整數(shù)、浮點數(shù)
4、掌握基本語句:
? ?if、while、for、print等
? ?基本運算:
? ?函數(shù)定義、參數(shù)傳遞、返回值
5、掌握復雜的數(shù)據(jù)類型:列表/元組
? ?列表操作:訪問、添加、修改、刪除、排序
? ?列表切片、復制等
? ?列表相關的函數(shù)、方法
? ?元組的應用
6、復雜數(shù)據(jù)類型:字典
? ?創(chuàng)建、訪問、修改、刪除、遍歷
? ?字典函數(shù)和方法
7、復雜數(shù)據(jù)類型:集合
8、掌握面向對象編程思想
? ?創(chuàng)建類、繼承類
? ?模塊
9、函數(shù)定義、參數(shù)傳遞、返回值
10、 ? ?標準庫與擴展庫的導入
11、 ? ?異常處理:try-except塊
演練:基本的Python編程語句
第二部分:Python語言與數(shù)據(jù)挖掘庫
目的:掌握數(shù)據(jù)集結構及基本處理方法,進一步鞏固Python語言
1、數(shù)據(jù)挖掘常用擴展庫介紹
? ?Numpy數(shù)組處理支持
? ?Scipy矩陣計算模塊
? ?Matplotlib數(shù)據(jù)可視化工具庫
? ?Pandas數(shù)據(jù)分析和探索工具
? ?StatsModels統(tǒng)計建模庫
? ?Scikit-Learn機器學習庫
? ?Keras深度學習(神經(jīng)網(wǎng)絡)庫
? ?Gensim文本挖掘庫
2、數(shù)據(jù)集讀取與操作:讀取、寫入
? ?讀寫文本文件
? ?讀寫CSV文件
? ?讀寫Excel文件
? ?從數(shù)據(jù)庫獲取數(shù)據(jù)集
3、數(shù)據(jù)集的核心數(shù)據(jù)結構(Pandas數(shù)據(jù)結構)
? ?DataFrame對象及處理方法
? ?Series對象及處理方法
演練:用Python實現(xiàn)數(shù)據(jù)的基本統(tǒng)計分析功能
第三部分:數(shù)據(jù)可視化處理
目的:掌握作圖擴展庫,實現(xiàn)數(shù)據(jù)可視化
1、常用的Python作圖庫
? ?Matplotlib庫
? ?Pygal庫
2、實現(xiàn)分類匯總
演練:按性別統(tǒng)計用戶人數(shù)
演練:按產(chǎn)品+日期統(tǒng)計各產(chǎn)品銷售金額
3、各種圖形的畫法
? ?直方圖
? ?餅圖
? ?折線圖
? ?散點圖
4、繪圖的美化技巧
演練:用Python庫作圖來實現(xiàn)產(chǎn)品銷量分析,并可視化
第四部分:數(shù)據(jù)挖掘基礎
目的:掌握數(shù)據(jù)挖掘標準流程
1、數(shù)據(jù)挖掘概述
2、數(shù)據(jù)挖掘的標準流程(CRISP-DM)
? ?商業(yè)理解
? ?數(shù)據(jù)準備
? ?數(shù)據(jù)理解
? ?模型建立
? ?模型評估
? ?模型應用
3、數(shù)據(jù)挖掘常用任務與算法
案例:用大數(shù)據(jù)實現(xiàn)精準營銷的項目過程
第五部分:數(shù)據(jù)理解和數(shù)據(jù)準備
目的:掌握數(shù)據(jù)預處理的基本環(huán)節(jié),以及Python的實現(xiàn)
1、數(shù)據(jù)預處理
? ?異常值處理:3σ準則,IQR準則
? ?缺失值插補:均值、拉格朗日插補
? ?數(shù)據(jù)篩選/抽樣
? ?數(shù)據(jù)的離散化處理
? ?變量變換、變量派生
2、數(shù)據(jù)的基本分析
? ?相關分析:原理、公式、應用
? ?方差分析:原理、公式、應用
? ?卡方分析:原理、公式、應用
? ?主成分分析:降維
案例:用Python實現(xiàn)數(shù)據(jù)預處理及數(shù)據(jù)準備
第四部分:分類預測模型實戰(zhàn)
1、常見分類預測的模型與算法
2、如何評估分類預測模型的質量
? ?查準率
? ?查全率
? ?ROC曲線
3、邏輯回歸分析模型
? ?邏輯回歸的原理
? ?邏輯回歸建模的步驟
? ?邏輯回歸結果解讀
案例:用sklearn庫實現(xiàn)銀行貸款違約預測
4、決策樹模型
? ?決策樹分類的原理
? ?決策樹的三個關鍵問題
? ?決策樹算法與實現(xiàn)
案例:電力竊漏用戶自動識別
5、人工神經(jīng)網(wǎng)絡模型(ANN)
? ?神經(jīng)網(wǎng)絡概述
? ?神經(jīng)元工作原理
? ?常見神經(jīng)網(wǎng)絡算法(BP、LM、RBF、FNN等)
案例:神經(jīng)網(wǎng)絡預測產(chǎn)品銷量
6、支持向量機(SVM)
? ?SVM基本原理
? ?維災難與核心函數(shù)
案例:基于水質圖像的水質評價
7、貝葉斯分析
? ?條件概率
? ?常見貝葉斯網(wǎng)絡
第五部分:數(shù)值預測模型實戰(zhàn)
1、常用數(shù)值預測的模型
? ?通用預測模型:回歸模型
? ?季節(jié)性預測模型:相加、相乘模型
? ?新產(chǎn)品預測模型:珀爾曲線與龔鉑茲曲線
2、回歸分析概念
3、常見回歸分析類別
第六部分:聚類分析(客戶細分)實戰(zhàn)
1、客戶細分常用方法
2、聚類分析(Clustering)
? ?聚類方法原理介紹及適用場景
? ?常用聚類分析算法
? ?聚類算法的評價
案例:使用SKLearn實現(xiàn)K均值聚類
案例:使用TSNE實現(xiàn)聚類可視化
3、RFM模型分析
? ?RFM模型,更深入了解你的客戶價值
? ?RFM模型與市場策略
案例:航空公司客戶價值分析
第七部分:關聯(lián)規(guī)則分析實戰(zhàn)
1、關聯(lián)規(guī)則概述
2、常用關聯(lián)規(guī)則算法
3、時間序列分析
案例:使用apriori庫實現(xiàn)關聯(lián)分析
案例:中醫(yī)證型關聯(lián)規(guī)則挖掘
第八部分:案例實戰(zhàn)(學員主導,老師現(xiàn)場指導)
1、實戰(zhàn)1:電商用戶行為分析及服務推薦
2、實戰(zhàn)2:基于基站定位數(shù)據(jù)的商圈分析
結束:課程總結與問題答疑。