進入大數據的真實世界-數據挖掘入門和應用

課程背景

時移而勢變，互聯網帶來了“大數據（BigData）”的爆發，企業和個人被卷入了新的數字化洪流。你的客戶、你的員工已經被悄無聲息的改變，工業時代的致勝秘籍和戰略空間已經不再繼續有效，大數據給我們帶來了新的價值創造方式。

目前，市面上流行的大數據培訓一部分側重于實現算法和公式推導，適合編程人士學習，但過于晦澀，需要較高的學歷基礎，另外一部分側重于創新理念和案例介紹，適合普及概念，但缺乏實戰性，不利于深度的理解和把握，無法為我所用。

為了彌補這些不足，融業務和技術創新于一體，林海老師根據長時間的理論和實踐經驗，開發了本門課程，將會帶給學員全新的知識體驗，啟發自己的大數據思維，獲得大數據算法的框架和使用指引，可以在工作中靈活運用，幫助企業洞察問題、發現規律和改進方向，并能夠運用所學知識，結合公司實際情況，再造自己的數字化業務。

主要話題

數據分析思維的“破”與“立”

世界認知的重構：數據分析的模型和算法

數據分析實戰：從代碼中觀測世界的變化

創新：“始”于問題，庖丁解牛、“終”于解決

課程大綱

第一單元 思維轉變：從報表統計思維進入數據分析思維

一、 入門：數據是對“事實”的觀測

二、 轉變：數據思維意味著什么

1、主動找數據變為被動推薦

2、抽樣數據變為全集數據

3、要求精確變為歡迎復雜

4、事后分析變為實時監控

5、專家分析變為機器學習

6、由流程為核心變為以數據為核心

7、由客戶分類變為個性化服務

8、由人與人連接變為人與機器連接

第二單元 認知重構：進入模型和算法統治的世界

一、數據分析三大核心模型

1、分類：真與假；好與壞；高、中、低。不會分類，就不會思考

2、預測：輸入變量，求得結果。代表了掌握規律的能力，生活是可預知的

3、相關性：模糊、近似、有關，是一種簡便的、粗略的全盤操控能力

二、五大初級算法

1、相關性分析：最入門、最常用、最剛需的分析方法

2、散點圖分析：最被忽略的探索性分析方法

3、概覽性分析：教科書上都不重視的全局總覽的分析方法

4、回歸分析：最容易理解的由x推導出y的方程式分析法

5、聚類分析：最粗暴的物以類聚人以群分的分析方法

三、六大中級算法

1、降維分析：數據太多，抓住主要數據的方法

2、決策樹分析：最容易理解的決策分析

3、關聯規則分析：貌似沒有規模，卻可以尋找一個規律

4、相似性分析：當前最熱門的分析方法，如：人臉識別、指紋識別

5、可視化分析：河流圖、風向圖、熱力圖等各種別具一格的數據呈現方式

6、文本分析：從大量的文字中快速提取關鍵信息

四、兩大大數據高級算法

1、神經網絡算法：最牛逼的模擬大腦的算法，如埃爾法狗圍棋

2、支持向量機算法：實用性和準確性較強的一個機器學習算法

第三單元 操作實戰：從代碼中觀測到的“真實”世界

一、學會用數據分析創新性的解決問題

1、What：問題是什么

2、Judgement：能用數據分析解決嗎

3、Prerequisite：具備數據基礎嗎

4、ModelSelect：選擇哪個模型

5、Visualization：怎么呈現結果

6、Design：設計流程，形成文檔

二、學會用代碼去測試和逼近真相

1、數據獲取（導入數據、爬取數據）

2、數據探索分析、概覽分析

3、明確分析目的

4、選擇x和y

5、對格式進行轉換

6、選擇模型（模型選擇準則）

7、使用交叉驗證規則，切分數據

8、用模型進行訓練

9、分析模型預測結果

10、確定最優模型

11、使用和預測

12、報告和呈現