教育行業(yè)A股IPO第一股(股票代碼 003032)

全國咨詢/投訴熱線:400-618-4000

2021年Python+大數(shù)據(jù)開發(fā)課程大綱

目前課程版本:1.6.1   咨詢詳情



Python+大數(shù)據(jù)開發(fā)基礎班課程大綱

學習對象

本課程適合于:應屆大學畢業(yè)生,工資待遇不理想,想要突破轉行,或對數(shù)據(jù)開發(fā)和數(shù)據(jù)分析感興趣的人員

注:獲取更多免費學習視頻+資料+筆記,請加QQ:2632311208。

上課方式

全日制脫產,每周5天上課, 上兩天課休息一天的上課方式(實際培訓時間可能因法定節(jié)假日等因素發(fā)生變化)

培訓時間

部分校區(qū)可能會根據(jù)實際情況有所調整,詳情可詢咨詢老師點擊咨詢

Python+大數(shù)據(jù)開發(fā)基礎班課程大綱

所處階段

主講內容 技術要點 學習目標
零基礎數(shù)據(jù)分析
體驗課
Excel數(shù)據(jù)分析

         01_數(shù)據(jù)分析行業(yè)技能及課程介紹
         02_Excel簡介和基本使用
         03_Excel數(shù)據(jù)處理和計算
         04_Excel圖表
         05_Excel透視表
         06_Excel分析項目

   1. 掌握傳統(tǒng)Excel數(shù)據(jù)分析技能
   2. 熟練使用BI工具
   3. 對數(shù)據(jù)分析有一定認知,能夠從事基礎的數(shù)據(jù)分析工作
SQL

        01_數(shù)據(jù)庫概念和作用
        02_MySQL數(shù)據(jù)類型
        03_數(shù)據(jù)完整性和約束
        04_數(shù)據(jù)庫/表基本操作命令
        05_表數(shù)據(jù)操作命令
        06_Where子句
        07_分組聚合
        08_鏈接查詢
        09_外鍵的使用
        10_SQL數(shù)據(jù)分析實戰(zhàn)

BI工具

        01_數(shù)據(jù)圖表基礎
        02_故事和儀表板初探
        03_數(shù)據(jù)分析報告
        04_Tableau電商項目


Python+大數(shù)據(jù)開發(fā)就業(yè)班課程大綱

學習對象

本課程適合于:應屆大學畢業(yè)生,工資待遇不理想,想要突破轉行,或對數(shù)據(jù)開發(fā)和數(shù)據(jù)分析感興趣的人員

注:獲取更多免費學習視頻+資料+筆記,請加QQ:2632311208。

上課方式

全日制脫產,每周5天上課, 上兩天課休息一天的上課方式(實際培訓時間可能因法定節(jié)假日等因素發(fā)生變化)

培訓時間

部分校區(qū)可能會根據(jù)實際情況有所調整,詳情可詢咨詢老師點擊咨詢

Python+大數(shù)據(jù)開發(fā)就業(yè)班課程大綱

所處階段

主講內容 技術要點 學習目標
數(shù)據(jù)分析
語言基礎
Python基礎語法

       01_變量
       02_標識符和關鍵字
       03_輸入和輸出
       04_數(shù)據(jù)類型轉換
       05_PEP8編碼規(guī)范
       06_比較/關系運算符
       07_if語句語法格式
       08_三目運算符
       09_while語句語法格式
       10_while 循環(huán)嵌套
       11_break 和 continue
       12_while 循環(huán)案例
       13_for循環(huán)

1.掌握Python開發(fā)環(huán)境基本配置
2.掌握運算符、表達式、流程控制語句、數(shù)組等的使用
3.掌握字符串的基本操作
4.初步建立面向對象的編程思維
5.熟悉異常捕獲的基本流程及使用方式
6.掌握類和對象的基本使用方式
Python數(shù)據(jù)處理

       01_字符串定義語法格式
       02_字符串遍歷(while)
       03_下標和切片
       04_字符串常見操作
       05_列表語法格式
       06_列表的遍歷(for)
       07_列表常見操作
       08_列表嵌套
       09_列表推導式
       10_元組語法格式
       11_單元素元組
       12_元組操作
       13_字典語法格式
       14_字典常見操作
       15_字典的遍歷

函數(shù)

       01_函數(shù)概念和作用、函數(shù)定義、調用
       02_不定長參數(shù)函數(shù)
       03_函數(shù)的返回值
       04_函數(shù)的說明文檔
       05_函數(shù)的嵌套調用
       06_可變和不可變類型
       07_局部變量
       08_全局變量
       09_組包和拆包、引用

文件讀寫

       01_文件的打開與關閉、文件的讀寫
       02_文件/目錄操作及案例
       03_os模塊文件與目錄相關操作

面向對象

       01_面向對象介紹
       02_類的定義和對象的創(chuàng)建
       03_添加和獲取對象屬性
       04_self 參數(shù)
       05_init方法
       06_私有方法和私有屬性
       07_繼承
       08_子類方法重寫
       09_類屬性和實例屬性
       11_類方法、實例方法、靜態(tài)方法

異常處理

       01_異常概念
       02_異常捕獲
       03_異常的傳遞
       04_自定義異常

模塊和包

       01_模塊介紹
       02_模塊的導入
       03_包的概念
       04_包的導入
       05_模塊中的 __all__
       06_模塊中 __name__ 的作用

Python編程進階 網(wǎng)絡編程

       01_IP地址的介紹
       02_端口和端口號的介紹
       03_TCP的介紹
       04_socket的介紹
       05_TCP網(wǎng)絡應用的開發(fā)流程
       06_基于TCP通信程序開發(fā)

1.熟練使用Linux操作系統(tǒng)及相關命令
2.掌握網(wǎng)絡編程技術,能夠實現(xiàn)網(wǎng)絡通訊
3.掌握開發(fā)中的多任務編程實現(xiàn)方式
4.掌握數(shù)據(jù)存儲形式和存儲操作
5.了解后端業(yè)務開發(fā)
多任務編程

       01_多任務介紹
       02_進程的使用
       03_線程的使用
       04_線程同步與互斥鎖、死鎖介紹

高級語法

       01_閉包
       02_裝飾器
       03_深淺拷貝
       04_正則

數(shù)據(jù)埋點

       1.miniweb

SQL進階 窗口函數(shù)及項目實戰(zhàn)

       01_視圖的概念與使用
       02_Mysql窗口函數(shù)
       03_Mysql變量
       04_Mysql實戰(zhàn)項目

1.能夠掌握SQL窗口函數(shù)及其他進階語法的使用
2.能夠完成SQL實戰(zhàn)項目
3.熟練運用SQL完成企業(yè)常見數(shù)據(jù)報表分析

數(shù)據(jù)分析
項目實戰(zhàn)
數(shù)據(jù)清洗

       01_Pandas數(shù)據(jù)組合_concat連接
       02_Pandas數(shù)據(jù)組合_merge數(shù)據(jù)
       03_Pandas數(shù)據(jù)組合_join
       04_缺失值處理介紹
       05_缺失值處理_缺失值數(shù)量統(tǒng)計
       06_缺失值處理_缺失值可視化
       07_缺失值處理_刪除缺失值
       08_缺失值處理_填充缺失值
       09_melt整理數(shù)據(jù)
       10_stack整理數(shù)據(jù)
       11_wide_to_long整理數(shù)據(jù)
       12_unstack和小結
       13_Pandas數(shù)據(jù)類型簡介
       14_數(shù)據(jù)類型轉換
       15_分類數(shù)據(jù)category
       16_Series和DataFrame的apply方法
       17_apply使用案例
       18_向量化函數(shù)和lambda表達式

1.熟練使用Pandas進行數(shù)據(jù)處理
2.掌握Python進行數(shù)據(jù)可視化的常用工具
3.熟練使用Pandas進行描述性數(shù)據(jù)分析
數(shù)據(jù)整理

       01_單變量分組聚合
       02_通過調用agg進行聚合
       03_分組后transform
       04_transform練習
       05_filter&DataFrameGroupBy對象
       06_透視表概述&會員存量增量分析
       07_會員增量等級分布
       08_增量等級占比分析&整體等級分布
       09_線上線下增量分析&地區(qū)店均會員數(shù)量
       10_會銷比計算
       11_連帶率計算
       12_復購率計算
       13_日期時間類型介紹
       14_提取日期分組案例
       15_股票數(shù)據(jù)處理
       16_datarange函數(shù)
       17_綜合案例

數(shù)據(jù)可視化

       01_Python數(shù)據(jù)可視化介紹
       02_matplotlib繪圖
       03_matplotlib繪制統(tǒng)計圖
       04_Pandas繪圖_柱狀圖
       05_Pandas繪圖_折線圖直方圖餅圖
       06_Pandas雙變量可視化
       07_Seaborn繪圖簡介&單變量可視化
       08_Seaborn雙變量可視化
       09_Seaborn多變量可視化和樣式
       10_pyechars案例

pandas數(shù)據(jù)分析項目

       01_AppStore項目_數(shù)據(jù)處理
       02_AppStore項目_單變量分析
       03_AppStore項目_可視化和結論
       04_AppStore項目_可視化和結論代碼實現(xiàn)
       05_優(yōu)衣庫項目_案例介紹及簡單數(shù)據(jù)探索
       06_優(yōu)衣庫項目_業(yè)務問題解讀
       07_優(yōu)衣庫案例_代碼實現(xiàn)
       08_RFM概念介紹
       09_RFM項目_數(shù)據(jù)加載和數(shù)據(jù)處理
       10_RFM項目_RFM計算
       11_RFM項目_RFM可視化
       12_RFM項目_業(yè)務解讀和小結

機器學習簡介

       01_人工智能概述
       02_機器學習開發(fā)流程和用到的數(shù)據(jù)介紹
       03_特征工程介紹和小結
       04_機器學習算法分類
       05_機器學習模型評估
       06_數(shù)據(jù)分析與機器學習

1.掌握機器學習算法基本原理
2.掌握使用機器學習模型訓練的基本流程
3.掌握Sklearn,Jieba,Gensim等常用機器學習相關開源庫的使用
4. 熟練使用機器學習相關算法進行預測分析
K近鄰算法

       01_K近鄰算法基本原理
       02_K近鄰算法進行分類預測
       03_sklearn實現(xiàn)knn
       04_訓練集測試集劃分
       05_分類算法的評估
       06_歸一化和標準化
       07_超參數(shù)搜索
       08_預測facebook簽到位置案例
       09_K近鄰算法總結

線性回歸

       01_線性回歸簡介
       02_線性回歸API使用初步
       03_導數(shù)回顧
       04_線性回歸的損失函數(shù)和優(yōu)化方法
       05_梯度下降推導
       06_波士頓房價預測案例
       07_欠擬合和過擬合
       08_模型的保存和加載
       09_線性回歸應用-回歸分析

邏輯回歸

       01_邏輯回歸簡介
       02_邏輯回歸API應用案例
       03_分類算法評價方法
       04_邏輯回歸應用_分類分析

聚類算法

       01_聚類算法的概念
       02_聚類算法API的使用
       03_聚類算法實現(xiàn)原理
       04_聚類算法的評估
       05_聚類算法案例

決策樹

       01_決策樹算法簡介
       02_ 決策樹分類原理
       03_特征工程-特征提取
       04_ 決策樹算法api
       05_ 決策樹案例

集成學習

       01 集成學習算法簡介
       02 Bagging和隨機森林
       03 隨機森林案例
       04 Boosting介紹
       05 GBDT介紹

零售項目集

       01_常用指標計算
       02_數(shù)據(jù)推斷
       03_基于Kmeans的用戶分群
       04_LTV用戶生命周期
       05_購物籃分析
       06_用戶標簽

1.掌握數(shù)據(jù)分析常用思維方法
2.掌握不同業(yè)務場景下的指標體系搭建
3.熟練使用各種數(shù)據(jù)分析工具進行數(shù)據(jù)提取與數(shù)據(jù)展示
4.熟練運用常用數(shù)據(jù)分析模型解決業(yè)務問題
電商項目集

       01_用戶行為分析
       02_用戶價值分析
       03_用戶復購分析
       04_庫存分析
       05_銷售預測
       06_AB測試

跨境電商

       01_選品分析
       02_報表設計
       03_用戶評論文本挖掘
       04_競品監(jiān)控
       05_廣告渠道效果分析

游戲分析

       01_游戲相關業(yè)務指標介紹
       02_游戲用戶付費分析
       03_道具使用分析

金融風控項目業(yè)務背景介紹

       01_信貸和風控介紹
       02_常見零售產品和風險介紹
       03_風控相關業(yè)務術語介紹
       04_業(yè)務數(shù)據(jù)分析案例

1.掌握風控業(yè)務場景的常用指標
2.掌握評分卡的建模流程
3.掌握評分卡特征工程的常用套路
4.熟練運用機器學習算法解決風控業(yè)務場景下的問題
風控建模介紹

       01_互聯(lián)網(wǎng)金融風控體系介紹
       02_風控建模流程概述
       03_風控建模流程_項目準備
       04_風控建模流程_特征工程
       05_風控建模流程_模型構建
       06_風控建模流程_上線運營
       07_業(yè)務規(guī)則挖掘案例

金融風控特征工程

       01_數(shù)據(jù)準備
       02_靜態(tài)信息特征和時間截面特征處理
       03_特征衍生
       04_特征變換
       05_特征變換_卡方分箱代碼實現(xiàn)
       06_特征變換_WOE代碼實現(xiàn)
       07_特征變換_類別變量編碼方式總結
       08_常用缺失值處理方法
       09_時間序列未來信息
       10_用戶信息關聯(lián)&小結

機器學習評分卡

       01_建模流程_實驗設計
       02_建模流程_樣本設計
       03_建模流程_模型訓練與評估
       04_評分映射
       05_邏輯回歸評分卡
       06_lightGBM特征篩選
       07_輸出模型報告
       08_評分映射
       09_集成學習評分卡_xgboost
       10_集成學習評分卡_lightGBM
       11集成學習評分卡模型創(chuàng)建
       13_建模流程梳理

大數(shù)據(jù)Hadoop技術棧 shell指令

       01_Linux命令使用
       02_Linux命令選項的使用
       03_遠程登錄和遠程拷貝
       04_Linux權限管理
       05_vi編輯器使用

1.掌握Java程序基礎數(shù)據(jù)類型
2.掌握開發(fā)中集合、IO流、常用類等操作
3.掌握Java異常處理機制
4.掌握反射、網(wǎng)絡編程、多線程開發(fā)
5.掌握Jsoup的網(wǎng)絡爬蟲開發(fā)
6.掌握JDBC數(shù)據(jù)庫連接操作
7.掌握ETL數(shù)據(jù)處理和BI報表開發(fā)
8.具備JavaSE開發(fā)能力
shell編程

       01_變量
       02_表達式
       03_常見符號
       04_流程控制

編程基礎

       1.Java語言概述
       2.Java開發(fā)環(huán)境搭建
       3.IDEA的安裝和配置
       4.HelloWorld案例
       5.注釋,關鍵字,常量,變量,數(shù)據(jù)類型轉換.
       6.for循環(huán).while循環(huán),循環(huán)嵌套,控制跳轉語句,break和continue
       7.數(shù)組的概述和創(chuàng)建,數(shù)組的常見操作.
       8.方法的概述和定義,方法重載,方法形參類型,方法練習

面向對象

       1.面向對象介紹
       2.類和對象講解
       3.對象的內存圖
       4.成員變量和局部變量的區(qū)別
       5.private關鍵字,封裝,this關鍵字,構造方法,繼承,super關鍵字
       6.方法重寫,多態(tài) ,final ,.static ,抽象類 ,接口 ,包(package)

常用類API

       1.API解釋
       2.Object類講解
       3.String類講,StringBuilder類講解,冒泡排序
       4.Arrays工具類包裝類
       5.自動拆裝箱,Date類講解
       6.SimpleDateFormat類講解

集合操作/IO操作

       1.Lambda表達式
       2.集合類,Collection,ArrayList   
       3.列表迭代器,增強for,數(shù)據(jù)結構
       4.Set集合之HashSet,Map集合之HashMap
       5.File類,字節(jié)流,序列化流,字符流

Java基礎增強

       1.Junit單元測試
       2.反射介紹 ,Class類相關方法介紹 ,反射案例:代理設計模式
       3.注解解釋.,常用注解介紹
       4.Maven基礎, 依賴, Maven生命周期 ,Maven倉庫 ,Maven配置文件
       5.數(shù)據(jù)庫驅動,Connection接口,JDBC步驟

大數(shù)據(jù)基礎和硬件介紹

       1.大數(shù)據(jù)的特點
       2.分布式存儲概念
       3.分布式計算的概念
       4.服務器種類介紹、機架、交換機
       5.網(wǎng)絡拓撲、Raid、IDC數(shù)據(jù)中心
       6.Linux shell編程、awk、sed、cut、ssh、scp、expect、yum、nestat、top 、iostat等高級命令使用

1.掌握Shell命令
2.掌握zookeeper原理并應用
3.掌握HDFS的使用和MapReduce編程
4.理解MapReduce原理和調優(yōu)
5.掌握Yarn原理和調優(yōu)
Zookeeper

       1.Zookeeper的應用場景
       2.架構和原理
       3.存儲模型
       4.選舉機制
       5.客戶端操作

HDFS

       1.HDFS設計的特點
       2.Master-Slave架構
       3.Block塊存儲、RF拷貝因子、機架感知
       4.Block拷貝策略、讀寫流程
       5.HDFS Federation、HDFS Snapshots、NameNode HA架構和原理
       6.HDFS管理員常用操作、HDFS權限控制

MapReduce

       1.MapReduce架構和原理
       2.Split機制
       3.MapReduce并行度
       4.Combiner機制
       5.Partition機制、自定義Partition
       6.MapReduce序列化、自定義排序、數(shù)據(jù)壓縮

YARN

       1.Yarn原理和架構
       2.Yarn高可用
       3.Container資源的封裝(CPU、內存和IO)
       4.資源調度策略(FIFO、Fair和Capacity)

Hive基礎

       1.HQL操作
       2.數(shù)據(jù)類型
       3.分區(qū)、分桶、臨時表
       4.explain執(zhí)行計劃詳解

1.掌握Hive的使用和調優(yōu)
2.具備Hadoop開發(fā)能力、離線數(shù)據(jù)倉庫開發(fā)能力
3.能夠完成基本構建企業(yè)級數(shù)倉
Hive高階

       1.Hive原理和架構
       2.Meta Store服務
       3.HiveServer內置函數(shù)
       4.自定義UDF和UDAF
       5.數(shù)據(jù)壓縮、存儲格式、自動化腳本、常見性能優(yōu)化

Hive出行大數(shù)據(jù)實戰(zhàn)或Hive亞馬遜電商大數(shù)據(jù)實戰(zhàn)(2選1)

       1.Hive滴滴出行案例實戰(zhàn)

       1.Hive亞馬遜電商案例實戰(zhàn)

教育項目或新零售項目二選一 解決方案

       1.大數(shù)據(jù)部署運維:Cloudera Manager
       2.分析決策需求:數(shù)據(jù)倉庫
       3.數(shù)據(jù)采集:sqoop
       4.數(shù)據(jù)分析:hive
       5.歷史數(shù)據(jù)快照:拉鏈表
       6.數(shù)據(jù)更新后的統(tǒng)計分析:拉鏈表
       7.數(shù)據(jù)調度:oozie+shell
       8.OLAP系統(tǒng)存儲:mysql
       9:數(shù)據(jù)展現(xiàn):帆軟BI

1.掌握離線數(shù)倉的分層與建模,從需求、設計、研發(fā)、測試到落地上線的完整項目流程
2.大量教育大數(shù)據(jù)的真實業(yè)務邏輯,共涉及20多個主題,100多個指標,提升學員在教育行業(yè)中的核心競爭力
3.包括海量數(shù)據(jù)場景下如何優(yōu)化配置
4.拉鏈表的具體應用
5.新增數(shù)據(jù)和更新數(shù)據(jù)的抽取和分析
6.hive函數(shù)的具體應用
7.ClouderaManager可視化、自動部署和配置、Git、CodeReview功能
技能點

       1.掌握離線數(shù)倉的分層與建模,從需求、設計、研發(fā)、測試到落地上線的完整項目流程
       2.大量教育大數(shù)據(jù)的真實業(yè)務邏輯,共涉及20多個主題,100多個指標,提升學員在教育行業(yè)中的核心競爭力
       3.包括海量數(shù)據(jù)場景下如何優(yōu)化配置
       4.拉鏈表的具體應用
       5.新增數(shù)據(jù)和更新數(shù)據(jù)的抽取和分析
       6.hive函數(shù)的具體應用
       7.ClouderaManager可視化、自動部署和配置、Git、CodeReview功能

大數(shù)據(jù)Spark技術棧 分布式緩存系統(tǒng)

       1.Redis原理及架構
       2.Redis Cluster原理及架構
       3.Redis常用操作

1.掌握Redis原理及架構
2.掌握Redis命令操作、及數(shù)據(jù)結構
3.掌握Hbase原理及架構
4.掌握HBase命令操作、MapReduce編程
5.掌握Phoneix二級索引優(yōu)化查詢
6.掌握ELK開發(fā)掌握Kafka原理及架構
萬億級NoSQL海量數(shù)據(jù)存儲

       1.HBase原理及架構
       2.預分區(qū)、LSM結構
       3.Bloom Filter,co-processor,結合Phoneix進行優(yōu)化查詢

分布式流處理平臺

       1.Kafka原理及架構分析
       2.分布式實時計算架構和思想

NoSQL社交場景大數(shù)據(jù)分析實戰(zhàn)

       1.陌陌社交場景實戰(zhàn)
       2.社交大數(shù)據(jù)架構剖析
       3.數(shù)據(jù)采集
       4.數(shù)據(jù)ETL
       5.數(shù)據(jù)分析

Scala

       1.Scala函數(shù)式編程基礎
       2.集合、Iterator、構造器、伴生對象、Akka編程
       3.Scala語言重點API編程

  1.掌握Spark的RDD、DAG、CheckPoint等設計思想
  2.掌握SparkSQL結構化數(shù)據(jù)處理,Spark On Hive
  3.掌握SparkStreaming整合Kafka完成實時數(shù)據(jù)處理
  4.掌握SparkStreaming偏移量管理及Checkpoint
  5.掌握Structured Streaming整合多數(shù)據(jù)源完成實時數(shù)據(jù)處理
  6.具備Spark全棧開發(fā)能力,滿足大數(shù)據(jù)行業(yè)多場景統(tǒng)一技術棧的數(shù)據(jù)開發(fā),提供就業(yè)核心競爭力
Spark core

       1.Spark架構和原理(運行機制、Driver和Executor、spark任務提交流程)
       2.RDD開發(fā)和原理(Partition、Task、RDD的依賴關系、RDD的容錯機制、RDD的存儲級別、RDD的緩存機制)廣播變量
       3.DAG原理(DAG思想、DAG的生成、DAG的處理過程)

Spark sql

       1.Spark SQL架構和原理
       2.DataFrame、DataSet DSL和SQL開發(fā)
       3.Spark多數(shù)據(jù)源整合(txt、CSV、Json、parquet、JDBC、Hive)
       4.Spark SQL執(zhí)行計劃原理
       5.Spark SQL性能調優(yōu)

Structured Streaming

       1.Structured Streaming開發(fā)(input、output、window、watermark、過期數(shù)據(jù)操作、去重等)
       2.Structured Streaming多數(shù)據(jù)源整合(socket、Kafka)
       3.Flume+kafka+Structured Streaming案例實戰(zhàn)

Spark案例實戰(zhàn)

       1.教育大數(shù)據(jù)場景案例實戰(zhàn)

智能制造業(yè)或保險項目二選一 主講解決方案

       1. 基于HDP快速搭建大數(shù)據(jù)平臺
       2. 基于Hive+Spark SQL搭建離線數(shù)據(jù)倉庫
       3. 基于Structured Streaming構建高吞吐實時處理
       4. 基于ECharts實現(xiàn)可視化

  1.完成基于國內大型的設備制造商大數(shù)據(jù)項目開發(fā);
  2.掌握基于spark分析原材料消耗、設備使用情況、多維度產品銷售分析,以大數(shù)據(jù)推動工業(yè)4.0;
  4.具備基于HDP平臺,連接工業(yè)設備,收集數(shù)據(jù)資源,實現(xiàn)產業(yè)監(jiān)測分析。
主講知識點

       1.使用主流的Hive+Spark構建離線數(shù)倉
       2.使用Structure Streaming構建實時異常告警系統(tǒng)
       3.基于完整的工業(yè)業(yè)務背景實現(xiàn)的離線和實時大數(shù)據(jù)業(yè)務豐富地地圖展示可視化開發(fā)
       4.學會使用Spark SQL處理復雜業(yè)務完整的離線采集 + 實時采集方案
       5.掌握如何使用調度平臺調度T+1批處理任務Spark離線任務和實時任務整合,統(tǒng)一由YARN做資源管理

就業(yè)加強 SQL實戰(zhàn)

       1.面試題必備SQL實戰(zhàn)
       2.SQL優(yōu)化加強

  1.強化面試就業(yè)核心面試題
  2.梳理大數(shù)據(jù)架構及解決方案
  3.剖析多行業(yè)大數(shù)據(jù)架構
Hive數(shù)據(jù)分析與面試題加強

       1.Hive基礎
       2.Hive拉鏈表
       3.Hive數(shù)據(jù)倉庫構建示例
       4.Hive面試題

Spark數(shù)據(jù)分析與面試題加強

       1.Spark基礎
       2.Spark拉鏈表
       3.Spark數(shù)據(jù)倉庫構建示例
       4.Spark面試題

NoSQL數(shù)據(jù)分析與面試題加強

       1.Kafka基礎
       2.Hbase基礎
       3.Kafka&Hbase面試題

大數(shù)據(jù)多行業(yè)架構剖析

       1.數(shù)據(jù)分析流程
       2.大數(shù)據(jù)架構剖析
       3.多行業(yè)大數(shù)據(jù)架構設計
       4.大數(shù)據(jù)存儲,調度等解決方案

大數(shù)據(jù)Flink技術棧 Flink Core

       1.Flink基礎

  1.掌握基于Flink進行實時和離線數(shù)據(jù)處理、分析
  2.掌握基于Flink的多流并行處理技術
  3.掌握千萬級高速實時采集技術
Flink DataStream

       1.Flink DataStream的使用、
       2.Kafka + Flink

Flink SQL

       1.Flink SQL開發(fā)
       2.Hive + Flink SQL

Flink Runtime

       1.Watermark
       2.Checkpoint
       3.任務調度與負載均衡
       4.狀態(tài)管理

Flink高級

       1.Flink性能監(jiān)控
       2.Flink調優(yōu)
       3.Flink SQL執(zhí)行計劃

Flink電商數(shù)據(jù)集實戰(zhàn)

       1.Flume+Kafka+Flink+Hbase+Sqoop+Canal+MySQL實戰(zhàn)

車聯(lián)網(wǎng)項目或金融證券項目二選一 主要解決方案

       1.離線數(shù)據(jù)分析:flink batch、hive
       2.實時在線分析:flink、hbase
       3.消息隊列:kafka
       4.駕駛行程分析:flink、hbase
       5.實時在線故障分析:mongodb
       6.車型指標分析:hive、shell
       7.實時指標查詢:phoenix
       8.后臺數(shù)據(jù)服務接口:springboot、swagger-ui、echarts
       9.多數(shù)據(jù)源加載:flink jdbc
       10.車輛告警規(guī)則分析:flink、zeppelin
       11.離線任務調度:azkaban
       12.報表:superset
       13.頁面展示:echarts、javascript

  1.掌握基于Flink全棧進行快速OLAP分析
  2.掌握基于Springboot+SwaggerUI快速構建數(shù)據(jù)服務接口
  3.掌握實時高性能海量數(shù)據(jù)分析與存儲
  5.掌握針對Hbase調優(yōu)實現(xiàn)Hbase存儲調優(yōu)
  6.掌握數(shù)據(jù)報表分析
  7.掌握業(yè)務數(shù)據(jù)實時大屏場景實現(xiàn)
主講知識點

       1.海量數(shù)據(jù)處理,系統(tǒng)15分鐘內收集的新能源車輛的數(shù)據(jù)超過千萬條
       2.基于Hive、HBase、HDFS數(shù)據(jù)存儲
       3.基于Kafka數(shù)據(jù)傳輸
       4.基于Flink全棧數(shù)據(jù)處理
       5.基于Nginx做反向代理、LSV和Keepalived負載均衡和高可用




備注:該課程大綱僅供參考,實際課程內容可能在授課過程中發(fā)生更新或變化,具體授課內容最終以各班級課表為準。


教學服務

  • 每日測評

    每晚對學員當天知識的吸收程度、老師授課內容難易程度進行評分,老師會根據(jù)學員反饋進行分析,對學員吸收情況調整授課內容、課程節(jié)奏,最終讓每位學員都可以跟上班級學習的整體節(jié)奏。

  • 技術輔導

    為每個就業(yè)班都安排了一名優(yōu)秀的技術指導老師,不管是白天還是晚自習時間,隨時解答學員問題,進一步鞏固和加強課上知識。

  • 學習系統(tǒng)

    為了能輔助學員掌握所學知識,黑馬程序員自主研發(fā)了6大學習系統(tǒng),包括教學反饋系統(tǒng)、學習難易和吸收分析系統(tǒng)、學習測試系統(tǒng)、在線作業(yè)系統(tǒng)、學習任務手冊、學員綜合能力評定分析等。

  • 末位輔導

    末位輔導隊列的學員,將會得到重點關心。技術輔導老師會在學員休息時間,針對學員的疑惑進行知識點梳理、答疑、輔導。以確保知識點掌握上沒有一個學員掉隊,真正落實不拋棄,不放棄任何一個學員。

  • 生活關懷

    從學員學習中的心態(tài)調整,到生活中的困難協(xié)助,從課上班級氛圍塑造到課下多彩的班級活動,班主任360度暖心鼓勵相伴。

  • 就業(yè)輔導

    小到五險一金的解釋、面試禮儀的培訓;大到500強企業(yè)面試實訓及如何針對性地制定復習計劃,幫助學員拿到高薪Offer。

 
和我們在線交談!