教育行業(yè)A股IPO第一股(股票代碼 003032)

全國(guó)咨詢/投訴熱線:400-618-4000

2021年P(guān)ython+大數(shù)據(jù)開(kāi)發(fā)課程大綱

目前課程版本:1.6.1   咨詢?cè)斍?/a>



Python+大數(shù)據(jù)開(kāi)發(fā)基礎(chǔ)班課程大綱

Python+大數(shù)據(jù)開(kāi)發(fā)基礎(chǔ)班課程大綱

所處階段

主講內(nèi)容 技術(shù)要點(diǎn) 學(xué)習(xí)目標(biāo)
零基礎(chǔ)數(shù)據(jù)分析
體驗(yàn)課
Excel數(shù)據(jù)分析

         01_數(shù)據(jù)分析行業(yè)技能及課程介紹
         02_Excel簡(jiǎn)介和基本使用
         03_Excel數(shù)據(jù)處理和計(jì)算
         04_Excel圖表
         05_Excel透視表
         06_Excel分析項(xiàng)目

   1. 掌握傳統(tǒng)Excel數(shù)據(jù)分析技能
   2. 熟練使用BI工具
   3. 對(duì)數(shù)據(jù)分析有一定認(rèn)知,能夠從事基礎(chǔ)的數(shù)據(jù)分析工作
SQL

        01_數(shù)據(jù)庫(kù)概念和作用
        02_MySQL數(shù)據(jù)類型
        03_數(shù)據(jù)完整性和約束
        04_數(shù)據(jù)庫(kù)/表基本操作命令
        05_表數(shù)據(jù)操作命令
        06_Where子句
        07_分組聚合
        08_鏈接查詢
        09_外鍵的使用
        10_SQL數(shù)據(jù)分析實(shí)戰(zhàn)

BI工具

        01_數(shù)據(jù)圖表基礎(chǔ)
        02_故事和儀表板初探
        03_數(shù)據(jù)分析報(bào)告
        04_Tableau電商項(xiàng)目


Python+大數(shù)據(jù)開(kāi)發(fā)就業(yè)班課程大綱

學(xué)習(xí)對(duì)象

本課程適合于:應(yīng)屆大學(xué)畢業(yè)生,工資待遇不理想,想要突破轉(zhuǎn)行,或?qū)?shù)據(jù)開(kāi)發(fā)和數(shù)據(jù)分析感興趣的人員

注:獲取更多免費(fèi)學(xué)習(xí)視頻+資料+筆記,請(qǐng)加QQ:2632311208。

上課方式

全日制脫產(chǎn),每周5天上課, 上兩天課休息一天的上課方式(實(shí)際培訓(xùn)時(shí)間可能因法定節(jié)假日等因素發(fā)生變化)

培訓(xùn)時(shí)間

部分校區(qū)可能會(huì)根據(jù)實(shí)際情況有所調(diào)整,詳情可詢咨詢老師點(diǎn)擊咨詢

Python+大數(shù)據(jù)開(kāi)發(fā)就業(yè)班課程大綱

所處階段

主講內(nèi)容 技術(shù)要點(diǎn) 學(xué)習(xí)目標(biāo)
數(shù)據(jù)分析
語(yǔ)言基礎(chǔ)
Python基礎(chǔ)語(yǔ)法

       01_變量
       02_標(biāo)識(shí)符和關(guān)鍵字
       03_輸入和輸出
       04_數(shù)據(jù)類型轉(zhuǎn)換
       05_PEP8編碼規(guī)范
       06_比較/關(guān)系運(yùn)算符
       07_if語(yǔ)句語(yǔ)法格式
       08_三目運(yùn)算符
       09_while語(yǔ)句語(yǔ)法格式
       10_while 循環(huán)嵌套
       11_break 和 continue
       12_while 循環(huán)案例
       13_for循環(huán)

1.掌握Python開(kāi)發(fā)環(huán)境基本配置
2.掌握運(yùn)算符、表達(dá)式、流程控制語(yǔ)句、數(shù)組等的使用
3.掌握字符串的基本操作
4.初步建立面向?qū)ο蟮木幊趟季S
5.熟悉異常捕獲的基本流程及使用方式
6.掌握類和對(duì)象的基本使用方式
Python數(shù)據(jù)處理

       01_字符串定義語(yǔ)法格式
       02_字符串遍歷(while)
       03_下標(biāo)和切片
       04_字符串常見(jiàn)操作
       05_列表語(yǔ)法格式
       06_列表的遍歷(for)
       07_列表常見(jiàn)操作
       08_列表嵌套
       09_列表推導(dǎo)式
       10_元組語(yǔ)法格式
       11_單元素元組
       12_元組操作
       13_字典語(yǔ)法格式
       14_字典常見(jiàn)操作
       15_字典的遍歷

函數(shù)

       01_函數(shù)概念和作用、函數(shù)定義、調(diào)用
       02_不定長(zhǎng)參數(shù)函數(shù)
       03_函數(shù)的返回值
       04_函數(shù)的說(shuō)明文檔
       05_函數(shù)的嵌套調(diào)用
       06_可變和不可變類型
       07_局部變量
       08_全局變量
       09_組包和拆包、引用

文件讀寫(xiě)

       01_文件的打開(kāi)與關(guān)閉、文件的讀寫(xiě)
       02_文件/目錄操作及案例
       03_os模塊文件與目錄相關(guān)操作

面向?qū)ο?/td>

       01_面向?qū)ο蠼榻B
       02_類的定義和對(duì)象的創(chuàng)建
       03_添加和獲取對(duì)象屬性
       04_self 參數(shù)
       05_init方法
       06_私有方法和私有屬性
       07_繼承
       08_子類方法重寫(xiě)
       09_類屬性和實(shí)例屬性
       11_類方法、實(shí)例方法、靜態(tài)方法

異常處理

       01_異常概念
       02_異常捕獲
       03_異常的傳遞
       04_自定義異常

模塊和包

       01_模塊介紹
       02_模塊的導(dǎo)入
       03_包的概念
       04_包的導(dǎo)入
       05_模塊中的 __all__
       06_模塊中 __name__ 的作用

Python編程進(jìn)階 網(wǎng)絡(luò)編程

       01_IP地址的介紹
       02_端口和端口號(hào)的介紹
       03_TCP的介紹
       04_socket的介紹
       05_TCP網(wǎng)絡(luò)應(yīng)用的開(kāi)發(fā)流程
       06_基于TCP通信程序開(kāi)發(fā)

1.熟練使用Linux操作系統(tǒng)及相關(guān)命令
2.掌握網(wǎng)絡(luò)編程技術(shù),能夠?qū)崿F(xiàn)網(wǎng)絡(luò)通訊
3.掌握開(kāi)發(fā)中的多任務(wù)編程實(shí)現(xiàn)方式
4.掌握數(shù)據(jù)存儲(chǔ)形式和存儲(chǔ)操作
5.了解后端業(yè)務(wù)開(kāi)發(fā)
多任務(wù)編程

       01_多任務(wù)介紹
       02_進(jìn)程的使用
       03_線程的使用
       04_線程同步與互斥鎖、死鎖介紹

高級(jí)語(yǔ)法

       01_閉包
       02_裝飾器
       03_深淺拷貝
       04_正則

數(shù)據(jù)埋點(diǎn)

       1.miniweb

SQL進(jìn)階 窗口函數(shù)及項(xiàng)目實(shí)戰(zhàn)

       01_視圖的概念與使用
       02_Mysql窗口函數(shù)
       03_Mysql變量
       04_Mysql實(shí)戰(zhàn)項(xiàng)目

1.能夠掌握SQL窗口函數(shù)及其他進(jìn)階語(yǔ)法的使用
2.能夠完成SQL實(shí)戰(zhàn)項(xiàng)目
3.熟練運(yùn)用SQL完成企業(yè)常見(jiàn)數(shù)據(jù)報(bào)表分析

數(shù)據(jù)分析
項(xiàng)目實(shí)戰(zhàn)
數(shù)據(jù)清洗

       01_Pandas數(shù)據(jù)組合_concat連接
       02_Pandas數(shù)據(jù)組合_merge數(shù)據(jù)
       03_Pandas數(shù)據(jù)組合_join
       04_缺失值處理介紹
       05_缺失值處理_缺失值數(shù)量統(tǒng)計(jì)
       06_缺失值處理_缺失值可視化
       07_缺失值處理_刪除缺失值
       08_缺失值處理_填充缺失值
       09_melt整理數(shù)據(jù)
       10_stack整理數(shù)據(jù)
       11_wide_to_long整理數(shù)據(jù)
       12_unstack和小結(jié)
       13_Pandas數(shù)據(jù)類型簡(jiǎn)介
       14_數(shù)據(jù)類型轉(zhuǎn)換
       15_分類數(shù)據(jù)category
       16_Series和DataFrame的apply方法
       17_apply使用案例
       18_向量化函數(shù)和lambda表達(dá)式

1.熟練使用Pandas進(jìn)行數(shù)據(jù)處理
2.掌握Python進(jìn)行數(shù)據(jù)可視化的常用工具
3.熟練使用Pandas進(jìn)行描述性數(shù)據(jù)分析
數(shù)據(jù)整理

       01_單變量分組聚合
       02_通過(guò)調(diào)用agg進(jìn)行聚合
       03_分組后transform
       04_transform練習(xí)
       05_filter&DataFrameGroupBy對(duì)象
       06_透視表概述&會(huì)員存量增量分析
       07_會(huì)員增量等級(jí)分布
       08_增量等級(jí)占比分析&整體等級(jí)分布
       09_線上線下增量分析&地區(qū)店均會(huì)員數(shù)量
       10_會(huì)銷比計(jì)算
       11_連帶率計(jì)算
       12_復(fù)購(gòu)率計(jì)算
       13_日期時(shí)間類型介紹
       14_提取日期分組案例
       15_股票數(shù)據(jù)處理
       16_datarange函數(shù)
       17_綜合案例

數(shù)據(jù)可視化

       01_Python數(shù)據(jù)可視化介紹
       02_matplotlib繪圖
       03_matplotlib繪制統(tǒng)計(jì)圖
       04_Pandas繪圖_柱狀圖
       05_Pandas繪圖_折線圖直方圖餅圖
       06_Pandas雙變量可視化
       07_Seaborn繪圖簡(jiǎn)介&單變量可視化
       08_Seaborn雙變量可視化
       09_Seaborn多變量可視化和樣式
       10_pyechars案例

pandas數(shù)據(jù)分析項(xiàng)目

       01_AppStore項(xiàng)目_數(shù)據(jù)處理
       02_AppStore項(xiàng)目_單變量分析
       03_AppStore項(xiàng)目_可視化和結(jié)論
       04_AppStore項(xiàng)目_可視化和結(jié)論代碼實(shí)現(xiàn)
       05_優(yōu)衣庫(kù)項(xiàng)目_案例介紹及簡(jiǎn)單數(shù)據(jù)探索
       06_優(yōu)衣庫(kù)項(xiàng)目_業(yè)務(wù)問(wèn)題解讀
       07_優(yōu)衣庫(kù)案例_代碼實(shí)現(xiàn)
       08_RFM概念介紹
       09_RFM項(xiàng)目_數(shù)據(jù)加載和數(shù)據(jù)處理
       10_RFM項(xiàng)目_RFM計(jì)算
       11_RFM項(xiàng)目_RFM可視化
       12_RFM項(xiàng)目_業(yè)務(wù)解讀和小結(jié)

機(jī)器學(xué)習(xí)簡(jiǎn)介

       01_人工智能概述
       02_機(jī)器學(xué)習(xí)開(kāi)發(fā)流程和用到的數(shù)據(jù)介紹
       03_特征工程介紹和小結(jié)
       04_機(jī)器學(xué)習(xí)算法分類
       05_機(jī)器學(xué)習(xí)模型評(píng)估
       06_數(shù)據(jù)分析與機(jī)器學(xué)習(xí)

1.掌握機(jī)器學(xué)習(xí)算法基本原理
2.掌握使用機(jī)器學(xué)習(xí)模型訓(xùn)練的基本流程
3.掌握Sklearn,Jieba,Gensim等常用機(jī)器學(xué)習(xí)相關(guān)開(kāi)源庫(kù)的使用
4. 熟練使用機(jī)器學(xué)習(xí)相關(guān)算法進(jìn)行預(yù)測(cè)分析
K近鄰算法

       01_K近鄰算法基本原理
       02_K近鄰算法進(jìn)行分類預(yù)測(cè)
       03_sklearn實(shí)現(xiàn)knn
       04_訓(xùn)練集測(cè)試集劃分
       05_分類算法的評(píng)估
       06_歸一化和標(biāo)準(zhǔn)化
       07_超參數(shù)搜索
       08_預(yù)測(cè)facebook簽到位置案例
       09_K近鄰算法總結(jié)

線性回歸

       01_線性回歸簡(jiǎn)介
       02_線性回歸API使用初步
       03_導(dǎo)數(shù)回顧
       04_線性回歸的損失函數(shù)和優(yōu)化方法
       05_梯度下降推導(dǎo)
       06_波士頓房?jī)r(jià)預(yù)測(cè)案例
       07_欠擬合和過(guò)擬合
       08_模型的保存和加載
       09_線性回歸應(yīng)用-回歸分析

邏輯回歸

       01_邏輯回歸簡(jiǎn)介
       02_邏輯回歸API應(yīng)用案例
       03_分類算法評(píng)價(jià)方法
       04_邏輯回歸應(yīng)用_分類分析

聚類算法

       01_聚類算法的概念
       02_聚類算法API的使用
       03_聚類算法實(shí)現(xiàn)原理
       04_聚類算法的評(píng)估
       05_聚類算法案例

決策樹(shù)

       01_決策樹(shù)算法簡(jiǎn)介
       02_ 決策樹(shù)分類原理
       03_特征工程-特征提取
       04_ 決策樹(shù)算法api
       05_ 決策樹(shù)案例

集成學(xué)習(xí)

       01 集成學(xué)習(xí)算法簡(jiǎn)介
       02 Bagging和隨機(jī)森林
       03 隨機(jī)森林案例
       04 Boosting介紹
       05 GBDT介紹

零售項(xiàng)目集

       01_常用指標(biāo)計(jì)算
       02_數(shù)據(jù)推斷
       03_基于Kmeans的用戶分群
       04_LTV用戶生命周期
       05_購(gòu)物籃分析
       06_用戶標(biāo)簽

1.掌握數(shù)據(jù)分析常用思維方法
2.掌握不同業(yè)務(wù)場(chǎng)景下的指標(biāo)體系搭建
3.熟練使用各種數(shù)據(jù)分析工具進(jìn)行數(shù)據(jù)提取與數(shù)據(jù)展示
4.熟練運(yùn)用常用數(shù)據(jù)分析模型解決業(yè)務(wù)問(wèn)題
電商項(xiàng)目集

       01_用戶行為分析
       02_用戶價(jià)值分析
       03_用戶復(fù)購(gòu)分析
       04_庫(kù)存分析
       05_銷售預(yù)測(cè)
       06_AB測(cè)試

跨境電商

       01_選品分析
       02_報(bào)表設(shè)計(jì)
       03_用戶評(píng)論文本挖掘
       04_競(jìng)品監(jiān)控
       05_廣告渠道效果分析

游戲分析

       01_游戲相關(guān)業(yè)務(wù)指標(biāo)介紹
       02_游戲用戶付費(fèi)分析
       03_道具使用分析

金融風(fēng)控項(xiàng)目業(yè)務(wù)背景介紹

       01_信貸和風(fēng)控介紹
       02_常見(jiàn)零售產(chǎn)品和風(fēng)險(xiǎn)介紹
       03_風(fēng)控相關(guān)業(yè)務(wù)術(shù)語(yǔ)介紹
       04_業(yè)務(wù)數(shù)據(jù)分析案例

1.掌握風(fēng)控業(yè)務(wù)場(chǎng)景的常用指標(biāo)
2.掌握評(píng)分卡的建模流程
3.掌握評(píng)分卡特征工程的常用套路
4.熟練運(yùn)用機(jī)器學(xué)習(xí)算法解決風(fēng)控業(yè)務(wù)場(chǎng)景下的問(wèn)題
風(fēng)控建模介紹

       01_互聯(lián)網(wǎng)金融風(fēng)控體系介紹
       02_風(fēng)控建模流程概述
       03_風(fēng)控建模流程_項(xiàng)目準(zhǔn)備
       04_風(fēng)控建模流程_特征工程
       05_風(fēng)控建模流程_模型構(gòu)建
       06_風(fēng)控建模流程_上線運(yùn)營(yíng)
       07_業(yè)務(wù)規(guī)則挖掘案例

金融風(fēng)控特征工程

       01_數(shù)據(jù)準(zhǔn)備
       02_靜態(tài)信息特征和時(shí)間截面特征處理
       03_特征衍生
       04_特征變換
       05_特征變換_卡方分箱代碼實(shí)現(xiàn)
       06_特征變換_WOE代碼實(shí)現(xiàn)
       07_特征變換_類別變量編碼方式總結(jié)
       08_常用缺失值處理方法
       09_時(shí)間序列未來(lái)信息
       10_用戶信息關(guān)聯(lián)&小結(jié)

機(jī)器學(xué)習(xí)評(píng)分卡

       01_建模流程_實(shí)驗(yàn)設(shè)計(jì)
       02_建模流程_樣本設(shè)計(jì)
       03_建模流程_模型訓(xùn)練與評(píng)估
       04_評(píng)分映射
       05_邏輯回歸評(píng)分卡
       06_lightGBM特征篩選
       07_輸出模型報(bào)告
       08_評(píng)分映射
       09_集成學(xué)習(xí)評(píng)分卡_xgboost
       10_集成學(xué)習(xí)評(píng)分卡_lightGBM
       11集成學(xué)習(xí)評(píng)分卡模型創(chuàng)建
       13_建模流程梳理

大數(shù)據(jù)Hadoop技術(shù)棧 shell指令

       01_Linux命令使用
       02_Linux命令選項(xiàng)的使用
       03_遠(yuǎn)程登錄和遠(yuǎn)程拷貝
       04_Linux權(quán)限管理
       05_vi編輯器使用

1.掌握J(rèn)ava程序基礎(chǔ)數(shù)據(jù)類型
2.掌握開(kāi)發(fā)中集合、IO流、常用類等操作
3.掌握J(rèn)ava異常處理機(jī)制
4.掌握反射、網(wǎng)絡(luò)編程、多線程開(kāi)發(fā)
5.掌握J(rèn)soup的網(wǎng)絡(luò)爬蟲(chóng)開(kāi)發(fā)
6.掌握J(rèn)DBC數(shù)據(jù)庫(kù)連接操作
7.掌握ETL數(shù)據(jù)處理和BI報(bào)表開(kāi)發(fā)
8.具備JavaSE開(kāi)發(fā)能力
shell編程

       01_變量
       02_表達(dá)式
       03_常見(jiàn)符號(hào)
       04_流程控制

編程基礎(chǔ)

       1.Java語(yǔ)言概述
       2.Java開(kāi)發(fā)環(huán)境搭建
       3.IDEA的安裝和配置
       4.HelloWorld案例
       5.注釋,關(guān)鍵字,常量,變量,數(shù)據(jù)類型轉(zhuǎn)換.
       6.for循環(huán).while循環(huán),循環(huán)嵌套,控制跳轉(zhuǎn)語(yǔ)句,break和continue
       7.數(shù)組的概述和創(chuàng)建,數(shù)組的常見(jiàn)操作.
       8.方法的概述和定義,方法重載,方法形參類型,方法練習(xí)

面向?qū)ο?/td>

       1.面向?qū)ο蠼榻B
       2.類和對(duì)象講解
       3.對(duì)象的內(nèi)存圖
       4.成員變量和局部變量的區(qū)別
       5.private關(guān)鍵字,封裝,this關(guān)鍵字,構(gòu)造方法,繼承,super關(guān)鍵字
       6.方法重寫(xiě),多態(tài) ,final ,.static ,抽象類 ,接口 ,包(package)

常用類API

       1.API解釋
       2.Object類講解
       3.String類講,StringBuilder類講解,冒泡排序
       4.Arrays工具類包裝類
       5.自動(dòng)拆裝箱,Date類講解
       6.SimpleDateFormat類講解

集合操作/IO操作

       1.Lambda表達(dá)式
       2.集合類,Collection,ArrayList   
       3.列表迭代器,增強(qiáng)for,數(shù)據(jù)結(jié)構(gòu)
       4.Set集合之HashSet,Map集合之HashMap
       5.File類,字節(jié)流,序列化流,字符流

Java基礎(chǔ)增強(qiáng)

       1.Junit單元測(cè)試
       2.反射介紹 ,Class類相關(guān)方法介紹 ,反射案例:代理設(shè)計(jì)模式
       3.注解解釋.,常用注解介紹
       4.Maven基礎(chǔ), 依賴, Maven生命周期 ,Maven倉(cāng)庫(kù) ,Maven配置文件
       5.數(shù)據(jù)庫(kù)驅(qū)動(dòng),Connection接口,JDBC步驟

大數(shù)據(jù)基礎(chǔ)和硬件介紹

       1.大數(shù)據(jù)的特點(diǎn)
       2.分布式存儲(chǔ)概念
       3.分布式計(jì)算的概念
       4.服務(wù)器種類介紹、機(jī)架、交換機(jī)
       5.網(wǎng)絡(luò)拓?fù)洹aid、IDC數(shù)據(jù)中心
       6.Linux shell編程、awk、sed、cut、ssh、scp、expect、yum、nestat、top 、iostat等高級(jí)命令使用

1.掌握Shell命令
2.掌握zookeeper原理并應(yīng)用
3.掌握HDFS的使用和MapReduce編程
4.理解MapReduce原理和調(diào)優(yōu)
5.掌握Yarn原理和調(diào)優(yōu)
Zookeeper

       1.Zookeeper的應(yīng)用場(chǎng)景
       2.架構(gòu)和原理
       3.存儲(chǔ)模型
       4.選舉機(jī)制
       5.客戶端操作

HDFS

       1.HDFS設(shè)計(jì)的特點(diǎn)
       2.Master-Slave架構(gòu)
       3.Block塊存儲(chǔ)、RF拷貝因子、機(jī)架感知
       4.Block拷貝策略、讀寫(xiě)流程
       5.HDFS Federation、HDFS Snapshots、NameNode HA架構(gòu)和原理
       6.HDFS管理員常用操作、HDFS權(quán)限控制

MapReduce

       1.MapReduce架構(gòu)和原理
       2.Split機(jī)制
       3.MapReduce并行度
       4.Combiner機(jī)制
       5.Partition機(jī)制、自定義Partition
       6.MapReduce序列化、自定義排序、數(shù)據(jù)壓縮

YARN

       1.Yarn原理和架構(gòu)
       2.Yarn高可用
       3.Container資源的封裝(CPU、內(nèi)存和IO)
       4.資源調(diào)度策略(FIFO、Fair和Capacity)

Hive基礎(chǔ)

       1.HQL操作
       2.數(shù)據(jù)類型
       3.分區(qū)、分桶、臨時(shí)表
       4.explain執(zhí)行計(jì)劃詳解

1.掌握Hive的使用和調(diào)優(yōu)
2.具備Hadoop開(kāi)發(fā)能力、離線數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)能力
3.能夠完成基本構(gòu)建企業(yè)級(jí)數(shù)倉(cāng)
Hive高階

       1.Hive原理和架構(gòu)
       2.Meta Store服務(wù)
       3.HiveServer內(nèi)置函數(shù)
       4.自定義UDF和UDAF
       5.數(shù)據(jù)壓縮、存儲(chǔ)格式、自動(dòng)化腳本、常見(jiàn)性能優(yōu)化

Hive出行大數(shù)據(jù)實(shí)戰(zhàn)或Hive亞馬遜電商大數(shù)據(jù)實(shí)戰(zhàn)(2選1)

       1.Hive滴滴出行案例實(shí)戰(zhàn)

       1.Hive亞馬遜電商案例實(shí)戰(zhàn)

教育項(xiàng)目或新零售項(xiàng)目二選一 解決方案

       1.大數(shù)據(jù)部署運(yùn)維:Cloudera Manager
       2.分析決策需求:數(shù)據(jù)倉(cāng)庫(kù)
       3.數(shù)據(jù)采集:sqoop
       4.數(shù)據(jù)分析:hive
       5.歷史數(shù)據(jù)快照:拉鏈表
       6.數(shù)據(jù)更新后的統(tǒng)計(jì)分析:拉鏈表
       7.數(shù)據(jù)調(diào)度:oozie+shell
       8.OLAP系統(tǒng)存儲(chǔ):mysql
       9:數(shù)據(jù)展現(xiàn):帆軟BI

1.掌握離線數(shù)倉(cāng)的分層與建模,從需求、設(shè)計(jì)、研發(fā)、測(cè)試到落地上線的完整項(xiàng)目流程
2.大量教育大數(shù)據(jù)的真實(shí)業(yè)務(wù)邏輯,共涉及20多個(gè)主題,100多個(gè)指標(biāo),提升學(xué)員在教育行業(yè)中的核心競(jìng)爭(zhēng)力
3.包括海量數(shù)據(jù)場(chǎng)景下如何優(yōu)化配置
4.拉鏈表的具體應(yīng)用
5.新增數(shù)據(jù)和更新數(shù)據(jù)的抽取和分析
6.hive函數(shù)的具體應(yīng)用
7.ClouderaManager可視化、自動(dòng)部署和配置、Git、CodeReview功能
技能點(diǎn)

       1.掌握離線數(shù)倉(cāng)的分層與建模,從需求、設(shè)計(jì)、研發(fā)、測(cè)試到落地上線的完整項(xiàng)目流程
       2.大量教育大數(shù)據(jù)的真實(shí)業(yè)務(wù)邏輯,共涉及20多個(gè)主題,100多個(gè)指標(biāo),提升學(xué)員在教育行業(yè)中的核心競(jìng)爭(zhēng)力
       3.包括海量數(shù)據(jù)場(chǎng)景下如何優(yōu)化配置
       4.拉鏈表的具體應(yīng)用
       5.新增數(shù)據(jù)和更新數(shù)據(jù)的抽取和分析
       6.hive函數(shù)的具體應(yīng)用
       7.ClouderaManager可視化、自動(dòng)部署和配置、Git、CodeReview功能

大數(shù)據(jù)Spark技術(shù)棧 分布式緩存系統(tǒng)

       1.Redis原理及架構(gòu)
       2.Redis Cluster原理及架構(gòu)
       3.Redis常用操作

1.掌握Redis原理及架構(gòu)
2.掌握Redis命令操作、及數(shù)據(jù)結(jié)構(gòu)
3.掌握Hbase原理及架構(gòu)
4.掌握HBase命令操作、MapReduce編程
5.掌握Phoneix二級(jí)索引優(yōu)化查詢
6.掌握ELK開(kāi)發(fā)掌握Kafka原理及架構(gòu)
萬(wàn)億級(jí)NoSQL海量數(shù)據(jù)存儲(chǔ)

       1.HBase原理及架構(gòu)
       2.預(yù)分區(qū)、LSM結(jié)構(gòu)
       3.Bloom Filter,co-processor,結(jié)合Phoneix進(jìn)行優(yōu)化查詢

分布式流處理平臺(tái)

       1.Kafka原理及架構(gòu)分析
       2.分布式實(shí)時(shí)計(jì)算架構(gòu)和思想

NoSQL社交場(chǎng)景大數(shù)據(jù)分析實(shí)戰(zhàn)

       1.陌陌社交場(chǎng)景實(shí)戰(zhàn)
       2.社交大數(shù)據(jù)架構(gòu)剖析
       3.數(shù)據(jù)采集
       4.數(shù)據(jù)ETL
       5.數(shù)據(jù)分析

Scala

       1.Scala函數(shù)式編程基礎(chǔ)
       2.集合、Iterator、構(gòu)造器、伴生對(duì)象、Akka編程
       3.Scala語(yǔ)言重點(diǎn)API編程

  1.掌握Spark的RDD、DAG、CheckPoint等設(shè)計(jì)思想
  2.掌握SparkSQL結(jié)構(gòu)化數(shù)據(jù)處理,Spark On Hive
  3.掌握SparkStreaming整合Kafka完成實(shí)時(shí)數(shù)據(jù)處理
  4.掌握SparkStreaming偏移量管理及Checkpoint
  5.掌握Structured Streaming整合多數(shù)據(jù)源完成實(shí)時(shí)數(shù)據(jù)處理
  6.具備Spark全棧開(kāi)發(fā)能力,滿足大數(shù)據(jù)行業(yè)多場(chǎng)景統(tǒng)一技術(shù)棧的數(shù)據(jù)開(kāi)發(fā),提供就業(yè)核心競(jìng)爭(zhēng)力
Spark core

       1.Spark架構(gòu)和原理(運(yùn)行機(jī)制、Driver和Executor、spark任務(wù)提交流程)
       2.RDD開(kāi)發(fā)和原理(Partition、Task、RDD的依賴關(guān)系、RDD的容錯(cuò)機(jī)制、RDD的存儲(chǔ)級(jí)別、RDD的緩存機(jī)制)廣播變量
       3.DAG原理(DAG思想、DAG的生成、DAG的處理過(guò)程)

Spark sql

       1.Spark SQL架構(gòu)和原理
       2.DataFrame、DataSet DSL和SQL開(kāi)發(fā)
       3.Spark多數(shù)據(jù)源整合(txt、CSV、Json、parquet、JDBC、Hive)
       4.Spark SQL執(zhí)行計(jì)劃原理
       5.Spark SQL性能調(diào)優(yōu)

Structured Streaming

       1.Structured Streaming開(kāi)發(fā)(input、output、window、watermark、過(guò)期數(shù)據(jù)操作、去重等)
       2.Structured Streaming多數(shù)據(jù)源整合(socket、Kafka)
       3.Flume+kafka+Structured Streaming案例實(shí)戰(zhàn)

Spark案例實(shí)戰(zhàn)

       1.教育大數(shù)據(jù)場(chǎng)景案例實(shí)戰(zhàn)

智能制造業(yè)或保險(xiǎn)項(xiàng)目二選一 主講解決方案

       1. 基于HDP快速搭建大數(shù)據(jù)平臺(tái)
       2. 基于Hive+Spark SQL搭建離線數(shù)據(jù)倉(cāng)庫(kù)
       3. 基于Structured Streaming構(gòu)建高吞吐實(shí)時(shí)處理
       4. 基于ECharts實(shí)現(xiàn)可視化

  1.完成基于國(guó)內(nèi)大型的設(shè)備制造商大數(shù)據(jù)項(xiàng)目開(kāi)發(fā);
  2.掌握基于spark分析原材料消耗、設(shè)備使用情況、多維度產(chǎn)品銷售分析,以大數(shù)據(jù)推動(dòng)工業(yè)4.0;
  4.具備基于HDP平臺(tái),連接工業(yè)設(shè)備,收集數(shù)據(jù)資源,實(shí)現(xiàn)產(chǎn)業(yè)監(jiān)測(cè)分析。
主講知識(shí)點(diǎn)

       1.使用主流的Hive+Spark構(gòu)建離線數(shù)倉(cāng)
       2.使用Structure Streaming構(gòu)建實(shí)時(shí)異常告警系統(tǒng)
       3.基于完整的工業(yè)業(yè)務(wù)背景實(shí)現(xiàn)的離線和實(shí)時(shí)大數(shù)據(jù)業(yè)務(wù)豐富地地圖展示可視化開(kāi)發(fā)
       4.學(xué)會(huì)使用Spark SQL處理復(fù)雜業(yè)務(wù)完整的離線采集 + 實(shí)時(shí)采集方案
       5.掌握如何使用調(diào)度平臺(tái)調(diào)度T+1批處理任務(wù)Spark離線任務(wù)和實(shí)時(shí)任務(wù)整合,統(tǒng)一由YARN做資源管理

就業(yè)加強(qiáng) SQL實(shí)戰(zhàn)

       1.面試題必備SQL實(shí)戰(zhàn)
       2.SQL優(yōu)化加強(qiáng)

  1.強(qiáng)化面試就業(yè)核心面試題
  2.梳理大數(shù)據(jù)架構(gòu)及解決方案
  3.剖析多行業(yè)大數(shù)據(jù)架構(gòu)
Hive數(shù)據(jù)分析與面試題加強(qiáng)

       1.Hive基礎(chǔ)
       2.Hive拉鏈表
       3.Hive數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建示例
       4.Hive面試題

Spark數(shù)據(jù)分析與面試題加強(qiáng)

       1.Spark基礎(chǔ)
       2.Spark拉鏈表
       3.Spark數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建示例
       4.Spark面試題

NoSQL數(shù)據(jù)分析與面試題加強(qiáng)

       1.Kafka基礎(chǔ)
       2.Hbase基礎(chǔ)
       3.Kafka&Hbase面試題

大數(shù)據(jù)多行業(yè)架構(gòu)剖析

       1.數(shù)據(jù)分析流程
       2.大數(shù)據(jù)架構(gòu)剖析
       3.多行業(yè)大數(shù)據(jù)架構(gòu)設(shè)計(jì)
       4.大數(shù)據(jù)存儲(chǔ),調(diào)度等解決方案

大數(shù)據(jù)Flink技術(shù)棧 Flink Core

       1.Flink基礎(chǔ)

  1.掌握基于Flink進(jìn)行實(shí)時(shí)和離線數(shù)據(jù)處理、分析
  2.掌握基于Flink的多流并行處理技術(shù)
  3.掌握千萬(wàn)級(jí)高速實(shí)時(shí)采集技術(shù)
Flink DataStream

       1.Flink DataStream的使用、
       2.Kafka + Flink

Flink SQL

       1.Flink SQL開(kāi)發(fā)
       2.Hive + Flink SQL

Flink Runtime

       1.Watermark
       2.Checkpoint
       3.任務(wù)調(diào)度與負(fù)載均衡
       4.狀態(tài)管理

Flink高級(jí)

       1.Flink性能監(jiān)控
       2.Flink調(diào)優(yōu)
       3.Flink SQL執(zhí)行計(jì)劃

Flink電商數(shù)據(jù)集實(shí)戰(zhàn)

       1.Flume+Kafka+Flink+Hbase+Sqoop+Canal+MySQL實(shí)戰(zhàn)

車(chē)聯(lián)網(wǎng)項(xiàng)目或金融證券項(xiàng)目二選一 主要解決方案

       1.離線數(shù)據(jù)分析:flink batch、hive
       2.實(shí)時(shí)在線分析:flink、hbase
       3.消息隊(duì)列:kafka
       4.駕駛行程分析:flink、hbase
       5.實(shí)時(shí)在線故障分析:mongodb
       6.車(chē)型指標(biāo)分析:hive、shell
       7.實(shí)時(shí)指標(biāo)查詢:phoenix
       8.后臺(tái)數(shù)據(jù)服務(wù)接口:springboot、swagger-ui、echarts
       9.多數(shù)據(jù)源加載:flink jdbc
       10.車(chē)輛告警規(guī)則分析:flink、zeppelin
       11.離線任務(wù)調(diào)度:azkaban
       12.報(bào)表:superset
       13.頁(yè)面展示:echarts、javascript

  1.掌握基于Flink全棧進(jìn)行快速OLAP分析
  2.掌握基于Springboot+SwaggerUI快速構(gòu)建數(shù)據(jù)服務(wù)接口
  3.掌握實(shí)時(shí)高性能海量數(shù)據(jù)分析與存儲(chǔ)
  5.掌握針對(duì)Hbase調(diào)優(yōu)實(shí)現(xiàn)Hbase存儲(chǔ)調(diào)優(yōu)
  6.掌握數(shù)據(jù)報(bào)表分析
  7.掌握業(yè)務(wù)數(shù)據(jù)實(shí)時(shí)大屏場(chǎng)景實(shí)現(xiàn)
主講知識(shí)點(diǎn)

       1.海量數(shù)據(jù)處理,系統(tǒng)15分鐘內(nèi)收集的新能源車(chē)輛的數(shù)據(jù)超過(guò)千萬(wàn)條
       2.基于Hive、HBase、HDFS數(shù)據(jù)存儲(chǔ)
       3.基于Kafka數(shù)據(jù)傳輸
       4.基于Flink全棧數(shù)據(jù)處理
       5.基于Nginx做反向代理、LSV和Keepalived負(fù)載均衡和高可用




備注:該課程大綱僅供參考,實(shí)際課程內(nèi)容可能在授課過(guò)程中發(fā)生更新或變化,具體授課內(nèi)容最終以各班級(jí)課表為準(zhǔn)。


教學(xué)服務(wù)

  • 每日測(cè)評(píng)

    每晚對(duì)學(xué)員當(dāng)天知識(shí)的吸收程度、老師授課內(nèi)容難易程度進(jìn)行評(píng)分,老師會(huì)根據(jù)學(xué)員反饋進(jìn)行分析,對(duì)學(xué)員吸收情況調(diào)整授課內(nèi)容、課程節(jié)奏,最終讓每位學(xué)員都可以跟上班級(jí)學(xué)習(xí)的整體節(jié)奏。

  • 技術(shù)輔導(dǎo)

    為每個(gè)就業(yè)班都安排了一名優(yōu)秀的技術(shù)指導(dǎo)老師,不管是白天還是晚自習(xí)時(shí)間,隨時(shí)解答學(xué)員問(wèn)題,進(jìn)一步鞏固和加強(qiáng)課上知識(shí)。

  • 學(xué)習(xí)系統(tǒng)

    為了能輔助學(xué)員掌握所學(xué)知識(shí),黑馬程序員自主研發(fā)了6大學(xué)習(xí)系統(tǒng),包括教學(xué)反饋系統(tǒng)、學(xué)習(xí)難易和吸收分析系統(tǒng)、學(xué)習(xí)測(cè)試系統(tǒng)、在線作業(yè)系統(tǒng)、學(xué)習(xí)任務(wù)手冊(cè)、學(xué)員綜合能力評(píng)定分析等。

  • 末位輔導(dǎo)

    末位輔導(dǎo)隊(duì)列的學(xué)員,將會(huì)得到重點(diǎn)關(guān)心。技術(shù)輔導(dǎo)老師會(huì)在學(xué)員休息時(shí)間,針對(duì)學(xué)員的疑惑進(jìn)行知識(shí)點(diǎn)梳理、答疑、輔導(dǎo)。以確保知識(shí)點(diǎn)掌握上沒(méi)有一個(gè)學(xué)員掉隊(duì),真正落實(shí)不拋棄,不放棄任何一個(gè)學(xué)員。

  • 生活關(guān)懷

    從學(xué)員學(xué)習(xí)中的心態(tài)調(diào)整,到生活中的困難協(xié)助,從課上班級(jí)氛圍塑造到課下多彩的班級(jí)活動(dòng),班主任360度暖心鼓勵(lì)相伴。

  • 就業(yè)輔導(dǎo)

    小到五險(xiǎn)一金的解釋、面試禮儀的培訓(xùn);大到500強(qiáng)企業(yè)面試實(shí)訓(xùn)及如何針對(duì)性地制定復(fù)習(xí)計(jì)劃,幫助學(xué)員拿到高薪Offer。

 
和我們?cè)诰€交談!