教育行業(yè)A股IPO第一股（股票代碼 003032）

全國咨詢/投訴熱線：400-618-4000    舉報郵箱:mc@itcast.cn

Python+大數據課程體系V3.2

聚集多位Apache?社區(qū)貢獻者及大廠技術講師，聯(lián)合推出行業(yè)重磅Python大數據V3.2課程，通過5-6個月學習進階數據開發(fā)工程師，獲取3-4年開發(fā)經驗，對標高級數據開發(fā)工程師

Python+大數據V3.2學習路線概覽

升級V3.2課程亮點：

  • 六項目制，40+天項目占比對標企業(yè)實際招聘需求，采用六個不同行業(yè)大數據項目，覆蓋從離線到實時計算場景，更好的匹配學員能力
  • 大廠級技術解決方案，Apache貢獻者領銜授課課程覆蓋了數字化轉型企業(yè)主流的技術和業(yè)務解決方案。
    6個技術解決方案：包括ETL、離線數倉、用戶畫像、Lambda架構、Kappa架構、湖倉一體等；
    多個業(yè)務解決方案：包括國內大型商超新零售、金融保險、金融證券、物流倉儲、航空、電商、出行、教育、物聯(lián)網等領域

敢以班級為單位公開就業(yè)信息的機構，只有傳智教育！通過數千班級實施和就業(yè)結果顯示，傳智教育Python+大數據開發(fā)的課程，有效大幅提升就業(yè)薪資水平！

課程大綱

  1. 基礎班

    1. SQL基礎

  2. 高手班

    1. Hadoop技術棧 2. 千億級離線數倉項目 3. 千億級離線數倉項目實戰(zhàn) 4. Python基礎編程 5. ETL實戰(zhàn) 6. BI報表開發(fā)項目實戰(zhàn) 7. Spark技術棧 8. 用戶畫像解決方案 9. PB級內存計算項目實戰(zhàn) 10. 基于AI大模型數據開發(fā)項目實戰(zhàn) 11. 面試加強 12. 阿里云實時計算Flink全棧開發(fā) 13. 阿里云實時計算項目

  3. 進階班

    1. 亞秒級實時進階課

  4. Python+大數據課程升級版本V4.0

  • SQL基礎基礎班 1

    課時:8天 技術點:50項 測驗:1次 學習方式:線下面授

    學習目標

    1. 掌握MySQL數據庫的使用| 2. 掌握SQL語法| 3. 掌握Kettle數據遷移工具的使用| 4. 熟練使用BI可視化工具| 5. 對數據開發(fā)有一定認知，掌握BI工程師所具備的基本技能

    主講內容

    1. Linux操作系統(tǒng)零基礎入門Linux操作系統(tǒng)，掌握Linux基礎命令。

    計算機基礎知識|Linux環(huán)境安裝|遠程連接工具|文件操作命令|壓縮解壓縮命令|文件查找命令|系統(tǒng)管理命令|權限管理|網絡服務管理命令等。

    2. MySQL與SQL零基礎小白通過MySQL數據庫，掌握核心必備SQL。

    數據庫環(huán)境搭建|SQL語言（DDL、DML、DQL）|多表查詢|索引等。

    3. Kettle與BI工具使用Kettle做數據遷移，通過BI工具展示Excel、MySQL中的數據。

    數據倉庫與ETL|Kettle安裝部署|數據抽取與裝載入門|表輸入組件|表輸出|插入/更新|switch/case等組件使用，開發(fā)Kettle作業(yè)等。

    4. 電商運營指標分析通過Kettle+MySQL+FineBI完成電商運營指標分析。

    電商業(yè)務背景|案例架構|數據倉庫數據增量同步|ETL開發(fā)|指標SQL開發(fā)|Kettle作業(yè)調度|FineBi可視化展示等。

  • Hadoop技術棧高手班 1

    課時:11天 技術點:120項 測驗:1次 學習方式:線下面授

    學習目標

    1.掌握Linux常用命令，為數據開發(fā)后續(xù)學習打下的良好基礎| 2.掌握大數據的核心框架Hadoop以及其生態(tài)體系，完成HDFS、MapReduce及Yarn機制基本理解與使用；能顧搭建Hadoop高可用HA集群| 3.掌握Hive的使用和調優(yōu)| 4.具備Hadoop開發(fā)能力、離線數據倉庫開發(fā)能力| 5.能夠完成基本構建企業(yè)級數倉

    主講內容

    1. Linux掌握Linux操作系統(tǒng)常用命令和權限管理，包含了以下技術點：

    01_Linux系統(tǒng)安裝和體驗| 02_Linux系統(tǒng)網絡配置和連接工具| 03_Linux系統(tǒng)目錄結構| 04_Linux命令使用| 05_Linux命令選項的使用| 06_遠程登錄和遠程拷貝| 07_Linux權限管理| 08_vi編輯器使用| 09_Sed| 10_AWK| 11_權限管理

    2. 大數據基礎和硬件介紹進一步闡述大數據特點與分布式思想，知識點由淺入深，包含了以下技術點：

    01_大數據的特點| 02_分布式存儲概念| 03_分布式計算的概念| 04_服務器種類介紹、機架、交換機| 05_網絡拓撲、Raid、IDC數據中心| 06_Linux shell編程、awk、sed、cut、ssh、scp、expect、yum、nestat、top 、iostat等高級命令使用

    3. Zookeeper分布式軟件管家，實現(xiàn)了集群管理與leader選舉，包含了以下技術點：

    01_Zookeeper的應用場景| 02_架構和原理| 03_存儲模型| 04_選舉機制| 05_客戶端操作

    4. HDFS分布式文件系統(tǒng)，解決了海量數據存儲與容錯，包含了以下技術點：

    01_HDFS設計的特點| 02_Master-Slave架構| 03_Block塊存儲、RF拷貝因子、機架感知| 04_Block拷貝策略、讀寫流程| 05_HDFS Federation、HDFS Snapshots0、NameNode HA架構和原理| 06_HDFS管理員常用操作、HDFS權限控

    5. MapReduce分布式計算系統(tǒng)，解決海量數據的計算，包含了以下技術點：

    01_MapReduce架構和原理| 02_Split機制| 03_MapReduce并行度| 04_Combiner機制| 05_Partition機制、自定義Partition| 06_MapReduce序列化、自定義排序、數據壓縮

    6. YARN分布式資源調度管理器，管理服務器軟件資源，包含了以下技術點：

    01_Yarn原理和架構| 02_Yarn高可用| 03_Container資源的封裝（CPU、內存和IO）| 04_資源調度策略（FIFO、Fair和Capacity）

    7. Hive基礎數據倉庫Hive，實現(xiàn)企業(yè)級數倉必備工具，包含以下知識點：

    01_HQL操作| 02_數據類型| 03_分區(qū)、分桶、臨時表| 04_.explain執(zhí)行計劃詳解

    8. Hive進階數據倉庫Hive高階原理和架構深入，實現(xiàn)企業(yè)級數倉優(yōu)化，包含以下知識點：

    01_Hive原理和架構 02_Meta Store服務 03_HiveServer內置函數 04_自定義UDF和UDAF 05_數據壓縮、存儲格式、自動化腳本、常見性能優(yōu)化

  • 千億級離線數倉項目高手班 2

    課時:11天技術點:105項測驗:0次學習方式:線下面授

    學習目標

    1.掌握泛電商行業(yè)離線數倉的分層與建模，從需求、設計、研發(fā)、測試到落地上線的完整項目流程| 2.行業(yè)內首個深度講解數倉建模模型方案的主體項目| 3.包括海量數據場景下如何優(yōu)化配置| 4.掌握項目遷移能力，能夠將項目遷移至泛電商的各個領域| 5.掌握在泛電商行業(yè)中關于全量與增量數據處理模式| 6.提供泛電商行業(yè)下的數據存儲分析以及服務監(jiān)控方案

    本項目基于某泛電商研發(fā)的大數據分析平臺。項目原型來自于某大型生鮮平臺,完全模擬企業(yè)真實數倉開發(fā)模式，擁有真實的主題化開發(fā)；真實的數據結構，復雜的SQL實現(xiàn)過程，學生學習以后可以開發(fā)企業(yè)級離線數倉的水平。

    進入項目體驗
    主講解決方案

    項目介紹與環(huán)境準備、數據遷移與數倉分層設計、核心五大主題域開發(fā)、基于Fine Report的大屏展示、基于海豚調度的全流程項目上線實施，提供新泛電商大型商超集團的數據存儲分析以及服務監(jiān)控方案。

    主講知識點

    1.大數據部署運維：Cloudera Manager| 2.分析決策需求數據倉庫：Hive| 3.數據采集：DataX| 4.數據分析：Hive| 5.數據調度：Dolphinscheduler| 6.OLAP系統(tǒng)存儲：PostgreSql| 7.Fine Report數據報表與大屏| 8.數倉建模: 范式與維度建模| 9.五大核心主題域開發(fā): 銷售域、供應鏈域、會員域等

  • 千億級離線數倉項目實戰(zhàn)高手班 3

    課時:5天技術點:40項測驗:0次學習方式:線下面授

    學習目標

    1.掌握教育行業(yè)離線數倉的分層與建模，從需求、設計、研發(fā)、測試到落地上線的完整項目流程| 2.真實業(yè)務邏輯，共涉及20多個主題，100多個指標，提升學員在教育行業(yè)中的核心競爭力| 3.包括海量數據場景下如何優(yōu)化配置| 4.拉鏈表的具體應用| 5.新增數據和更新數據的抽取和分析| 6.Hive函數的具體應用| 7.ClouderaManager可視化、自動部署和配置、Git、CodeReview功能

    受互聯(lián)網+概念的催化，教育市場發(fā)展火熱，越來越多的教育機構和平臺不斷涌現(xiàn)，包括有線上學習和線下培訓，K12教育和職業(yè)教育等。

    進入項目體驗
    主講解決方案

    掌握離線數倉的分層與建模、大數據量場景下如何優(yōu)化配置，拉鏈表的具體應用，新增數據的抽取和分析，更新數據的抽取和分析，以及Hive函數的具體應用等。ClouderaManager可視化、自動部署和配置、Git的CodeReview功能保證項目高質量。 離線數倉的分層與建模 項目涉及20多個主題，100多個指標場景 帆軟BI企業(yè)級報表展示。

    主講知識點

    1.大數據部署運維：Cloudera Manager| 2.分析決策需求：數據倉庫| 3.數據倉庫：Hive| 4.數據采集：sqoop| 5.數據分析：Hive| 6.歷史數據快照：拉鏈表| 7.數據調度：oozie+shell| 8.OLAP系統(tǒng)存儲：MySQL| 9.FineBI數據展示

  • Python基礎編程高手班 4

    課時:8天 技術點:100項 測驗:1次 學習方式:線下面授

    學習目標

    1.掌握Python開發(fā)環(huán)境基本配置| 2.掌握運算符、表達式、流程控制語句、數組等的使用| 3.掌握字符串的基本操作| 4.初步建立面向對象的編程思維| 5.熟悉異常捕獲的基本流程及使用方式| 6.掌握類和對象的基本使用方式| 7.掌握網絡編程技術，能夠實現(xiàn)網絡通訊| 8.知道多進程多線程的原理

    主講內容

    1. Python基礎語法零基礎學習Python的開始，包含了以下技術點：

    01_計算機基礎知識| 02_認識Python| 03_環(huán)境搭建| 04_第一個Python程序| 05_注釋| 06_變量| 07_標識符和關鍵字| 08_輸入和輸出| 09_運算符| 10_數據類型轉換| 11_PEP8編碼規(guī)范| 12_比較/關系運算符| 13_if判斷語句語法格式| 14_三目運算符| 15_while語句語法格式| 16_while 循環(huán)嵌套| 17_break 和 continue| 18_while 循環(huán)案例| 19_for循環(huán)

    2. Python數據處理掌握Python的數據類型，并對其進行操作處理，包含了以下技術點：

    01_字符串定義語法格式| 02_字符串遍歷| 03_下標和切片| 04_字符串常見操作| 05_列表語法格式| 06_列表的遍歷| 07_列表常見操作| 08_列表嵌套| 09_列表推導式| 10_元組語法格式| 11_元組操作| 12_字典語法格式| 13_字典常見操作| 14_字典的遍歷| 15_集合的操作

    3. 函數能夠實現(xiàn)Python函數的編寫，包含了以下技術點：

    01_函數概念和作用、函數定義、調用| 02_函數的參數| 03_函數的返回值| 04_函數的注釋| 05_函數的嵌套調用| 06_可變和不可變類型| 07_局部變量| 08_全局變量| 09_組包和拆包、引用

    4. 文件讀寫能夠使用Python對文件進行操作，包含了以下技術點：

    01_文件的打開與關閉、文件的讀寫| 02_文件、目錄操作及案例| 03_os模塊文件與目錄相關操作

    5. 異常處理主要介紹了在Python編程中如何處理異常，包含了以下技術點：

    01_異常概念| 02_異常捕獲| 03_自定義異常

    6. 模塊和包主要介紹了Python中的模塊和包的體系，以及如何使用模塊和包，包含了以下技術點：

    01_模塊介紹| 02_模塊的導入| 03_包的概念| 04_包的導入| 05_模塊中的__all__| 06_模塊中__name__| 07_自定義模塊| 08_Python中的包

    7. Python面向對象從逐步建立起面向對象編程思想，再到會使用對象，到創(chuàng)建對象，再到真正理解為什么封裝對象，包含了以下技術點：

    01_面向對象介紹| 02_類的定義和對象的創(chuàng)建| 03_添加和獲取對象屬性| 04_self 參數| 05_init方法| 06_繼承| 07_子類方法重寫| 08_類屬性和實例屬性| 09_類方法、實例方法、靜態(tài)方法

    8. Python高級語法主要學習Python的高級語法，包含以下技術點：

    01_閉包| 02_裝飾器| 03_深淺拷貝| 04_正則

    9. Python多任務編程主要學習Python中多線程、多進程，包含了以下技術點：

    01_多任務介紹| 02_多進程的使用| 03_多線程的使用| 04_線程同步

    10. Python網絡編程主要學習通訊協(xié)議，以及Python實現(xiàn)TCP、HTTP通訊，包含了以下技術點：

    01_IP地址的介紹| 02_端口和端口號的介紹| 03_TCP的介紹| 04_Socket的介紹| 05_TCP網絡應用的開發(fā)流程| 06_基于TCP通信服務程序開發(fā)| 07_必備前端基礎知識| 08_HTTP協(xié)議與Web服務開發(fā)案例

  • ETL實戰(zhàn)高手班 5

    課時:5天 技術點:48項 測驗:0次 學習方式:線下面授

    學習目標

    1.掌握ETL的相關概念| 2.掌握基于Python語言完成ETL任務開發(fā)實戰(zhàn)| 3.基于ETL實戰(zhàn)鍛煉Python編程能力，包括（元數據管理、數據模型、項目配置、單元測試、工具方法抽取等）| 4.掌握BI數據分析實戰(zhàn)

    主講內容

    1. ETL概念與工具零基礎掌握ETL基礎概念與常見ETL工具。

    01_ETL簡介| 02_ETL流程介紹| 03_ETL工具介紹

    2. Python ETL實戰(zhàn)掌握零售行業(yè)ETL項目，完成ETL全流程開發(fā)。

    01_ETL項目實操| 02_FineBI基礎使用| 03_FineBI項目展示

  • BI報表開發(fā)項目實戰(zhàn)高手班 6

    課時:3天 技術點:40項 測驗:1次 學習方式:線下面授

    學習目標

    1.掌握BI報表開發(fā)需求分析| 2.掌握BI報表工具| 3.掌握FineReport報表

    主講內容

    1. BI報表開發(fā)掌握BI報表開發(fā)常見流程和工具，完成電商行業(yè)BI報表開發(fā)

    01_BI報表開發(fā)需求分析| 02_BI報表工具| 03_FineReport報表入門| 04_泛電商行業(yè)五大主題的實現(xiàn)

  • Spark技術棧高手班 7

    課時:10天 技術點:110項 測驗:1次 學習方式:線下面授

    學習目標

    1.掌握Spark的RDD、DAG、CheckPoint等設計思想| 2.掌握SparkSQL結構化數據處理，Spark On Hive| 3.掌握Structured Streaming整合多數據源完成實時數據處理| 4.具備Spark全棧開發(fā)能力，滿足大數據行業(yè)多場景統(tǒng)一技術棧的數據開發(fā)，提供就業(yè)核心競爭力

    主講內容

    1. Spark基礎本階段學習Spark環(huán)境搭建及以下知識點：

    01_Spark基礎環(huán)境搭建| 02_Spark的Standalone環(huán)境搭建| 03_Spark的StandaloneHA搭建| 04_SparkOnYarn環(huán)境搭建

    2. Spark Core整個Spark框架核心部分，掌握框架內部設計思想，數據流轉步驟，是學習Spark的基礎模塊，包含了以下技術點：

    01_Spark架構和原理（運行機制、Driver和Executor、spark任務提交流程）| 02_RDD開發(fā)和原理（Partition、Task、RDD的依賴關系、RDD的容錯機制、RDD的存儲級別、RDD的緩存機制）廣播變量 | 03_DAG原理（DAG思想、DAG的生成、DAG的處理過程）

    3. Spark SQL學習Spark框架的SQL操作，Spark與Hive等外部數據源的整合操作，包含了以下技術點：

    01_Spark SQL架構和原理| 02_DataFrame、DataSet DSL和SQL開發(fā)| 03_Spark多數據源整合（txt、CSV、Json、parquet、JDBC、Hive）| 04_Spark SQL執(zhí)行計劃原理| 05_Spark SQL性能調優(yōu)

    4. Kafka消息隊列主要講解消息中間件核心知識，包括知識點如下：

    01_Kafka原理及架構分析| 02_分布式實時計算架構和思想| 03_陌陌社交場景實戰(zhàn)| 04_社交大數據架構剖析

    5. StructedStreaming主要講解Spark實時計算組件，整合Kafka+StructedStreaming，包括知識點如下:

    01_流式計算基礎概念| 02_Structured Streaming編程模型| 03_Structured Streaming整合Kafka| 04_Structured Streaming實時數據處理與統(tǒng)計分析

    6. Spark案例實戰(zhàn)踐行場景式教學，運用了Spark階段知識點，使用Lambda加解決數據分析的應用，包含了以下技術點：

    Spark案例實戰(zhàn)|Kafka和Structed Streaming

  • 用戶畫像解決方案高手班 8

    課時:10天技術點:90項測驗:0次學習方式:線下面授

    學習目標

    1. 掌握SparkSQL整合ES自定義數據源| 2. 掌握用戶畫像構建流程| 3. 掌握用戶畫像標簽構建規(guī)則| 4. 掌握用戶畫像規(guī)則類標簽構建| 5. 掌握用戶畫像統(tǒng)計類標簽構建

    項目提供了全行業(yè)用戶畫像解決方案, 使用SparkSQL+ES+DS構建企業(yè)級用戶畫像，通過SparkSQL+MySQL構建通用行業(yè)用戶畫像標簽體系。

    進入項目體驗
    主講解決方案

    用戶畫像解決方案,主要針對于泛電商或保險行業(yè)完成用戶標簽設計,提供了全行業(yè)解決方案,課程采用由淺入深,層層遞進的講解方式, 讓你輕松掌握企業(yè)級用戶畫像的使用, 使用SparkSQL+ES+DS構建企業(yè)級用戶畫像。

    主講知識點

    01_SparkSQL整合ES自定義數據源| 02_DS任務界面化調度| 03_用戶畫像標簽構建規(guī)則| 04_用戶畫像規(guī)則類標簽構建| 05_用戶畫像統(tǒng)計類標簽構建

  • PB級內存計算項目實戰(zhàn)高手班 9

    課時:3天技術點:88項測驗:0次學習方式:線下面授

    學習目標

    1.掌握保險行業(yè)數據分析流程| 2.掌握保費計算流程| 3.掌握DS調度流程| 4.掌握UDAF使用場景

    保險精算項目需要計算海量明細保單數據，以便生成財務報表。項目使用SparkSQL來計算，時效變快，增強保險公司的商業(yè)信譽。項目將多部門的業(yè)務數據庫同步到hive數據集市，使用SparkSQL加載源數據表（保單表12億保單，客戶表8千萬客戶等），計算保單的保費、現(xiàn)金價值、準備金等明細，提供給財務部門收費或支出，對保單匯總計算（業(yè)務發(fā)展類指標，成本費用類指標等），并向業(yè)務人員做數據展示。

    進入項目體驗
    主講解決方案

    項目核心架構和業(yè)務流程、Hive數倉建模 、Sqoop數據同步開發(fā) DolphinScheduler任務調度、使用lag，sum等窗口函數 、使用UDAF函數計算有效保單數字段、計算現(xiàn)金價值、計算和準備金、分區(qū)表的使用 、指標匯總計算 、Shuffle優(yōu)化。

    主講知識點

    基于Spark輕松應對保險復雜的迭代計算

  • 基于AI大模型數據開發(fā)項目實戰(zhàn)高手班 10

    課時:2天 技術點:30項 測驗:1次 學習方式:線下面授

    學習目標

    1.完成ChatGPT基礎使用| 2.基于ChatGPT可以完成改Bug，寫注釋，生成代碼等常見編程任務| 3.能夠基于合理的Prompts提示詞進行提問，助力提升編程效率

    主講內容

    1. AI大模型提升數據開發(fā)效率掌握基于AI大模型完成大數據開發(fā)任務，助力開發(fā)效率提升

    01_ChatGPT生成代碼| 02_ChatGPT改Bug| 03_基于AI大模型的出行大數據平臺數倉搭建| 04_基于AI大模型指標開發(fā)

  • 面試加強高手班 11

    課時:4天 技術點:40項 測驗:0次 學習方式:線下面授

    學習目標

    1.強化面試就業(yè)核心面試題| 2.梳理大數據架構及解決方案| 3.剖析多行業(yè)大數據架構

    主講內容

    1. SQL實戰(zhàn)解決Python大數據常見的SQL面試題，包含了以下技術點：

    01_面試題必備SQL實戰(zhàn)| 02_SQL優(yōu)化加強

    2. Hive數據分析與面試題加強解決Hive數據分析開發(fā)必備面試題，包含了以下技術點：

    01_Hive基礎| 02_Hive拉鏈表| 03_Hive數據倉庫構建示例| 04_Hive面試題

    3. Spark數據分析與面試題加強解決Spark開發(fā)必備面試題，包含了以下技術點：

    01_Spark基礎| 02_Spark離線分析| 04_Spark面試題

    4. 大數據多行業(yè)架構剖析解決多行業(yè)多場景大數據架構設計，具備舉一反三設計大數據架構體系能來，包含了以下技術點：

    01_數據分析流程| 02_大數據架構剖析| 03_多行業(yè)大數據架構設計| 04_大數據存儲，調度等解決方案

  • 阿里云實時計算Flink全棧開發(fā)高手班 12

    課時:5天 技術點:80項 測驗:1次 學習方式:線下面授

    學習目標

    1.掌握基于阿里云Flink進行實時和離線數據處理、分析| 2.掌握基于阿里云Flink的多流并行處理技術| 3.掌握FlinkCDC多數據源采集技術

    主講內容

    1. 阿里云Flink入門掌握國內最火的阿里云Flink技術，完成SQL、Python等作業(yè)提交。

    01_阿里云賬號角色授權| 02_開通Flink全托管| 03_Flink SQL作業(yè)快速入門| 04_Flink JAR作業(yè)快速入門| 05_Flink Python作業(yè)快速入門| 06_數據庫實時入倉快速入門| 07_日志實時入倉快速入門

    2. Flink SQL掌握FlinkSQL流批一體開發(fā)流程，集成Flink核心窗口、水印、狀態(tài)管理等高級功能，助力高效開發(fā)。

    01_Flink SQL開發(fā)| 02_Hive + Flink SQL| 03_Watermark| 04_Checkpoint| 05_任務調度與負載均衡| 06_狀態(tài)管理| 07_Flink性能監(jiān)控| 08_Flink調優(yōu)| 09_Flink SQL執(zhí)行計劃

    3. Flink作業(yè)開發(fā)掌握Flink作業(yè)開發(fā)流程，完成不同方式的作業(yè)開發(fā)和調試。

    01_作業(yè)開發(fā)| 02_SQL作業(yè)開發(fā)| 03_JAR作業(yè)開發(fā)| 04_Python作業(yè)開發(fā)| 05_作業(yè)調試| 06_模板中心| 07_管理自定義連接器| 08_管理自定義函數（UDF）

    4. 阿里云Flink運維掌握Flink運維流程，針對不同場景通過不同解決方案，達到高效運維使用云平臺。

    01_權限管理| 02_RAM用戶授權| 03_作業(yè)操作賬號授權| 04_作業(yè)啟動| 05_作業(yè)停止| 06_管理作業(yè)版本| 07_修改作業(yè)配置| 08_查看作業(yè)詳情| 09_查看與修改作業(yè)運行狀態(tài)| 10_調優(yōu)診斷| 11_查看作業(yè)性能| 12_作業(yè)智能診斷| 13_配置自動調優(yōu)| 14_高性能Flink SQL優(yōu)化技巧| 15_作業(yè)狀態(tài)管理| 16_企業(yè)級狀態(tài)后端存儲介紹| 17_作業(yè)狀態(tài)集管理| 18_Flink State兼容性參考

  • 阿里云實時計算項目高手班 13

    課時:5天技術點:80項測驗:0次學習方式:線下面授

    學習目標

    1.基于阿里云Flink + Kafka + Paimon 湖倉一體技術架構| 2.基于FlinkCDC完成MySQL等數據源的數據采集| 3.FlinkSQL流批一體架構實現(xiàn)實時數據計算| 4.使用Starrocks進行海量多維分析| 5.掌握數據報表分析| 6.掌握業(yè)務數據實時大屏場景實現(xiàn)

    本項目是基于某物流公司業(yè)務研發(fā)的智慧物流大數據平臺，公司業(yè)務網點覆蓋各地，大規(guī)模的客戶群體，日訂單達1000W，平臺對千億級數據進行整合、分析、處理，保障業(yè)務的順利進行。

    進入項目體驗
    主講解決方案

    采集超過千萬條在線視頻的數據，實時高性能海量數據分析與存儲業(yè)務數據實時大屏場景實現(xiàn)。

    主講知識點

    基于Flink + Kafka + Paimon 湖倉一體技術架構，實現(xiàn)在線視頻行業(yè)大規(guī)模流數據處理和實時分析。本項目依托 阿里云 Flink 流處理計算引擎， 通過 FlinkCDC 實時采集 RDS MySQL 數據庫數據，實現(xiàn)數據采集的斷點續(xù)傳，使用Kafka 作為實時數倉，使用 Paimon 實現(xiàn)數據的持久化和Flink 批處理，實現(xiàn)計算的流批一體，數據存儲的湖倉一體，采用StarRocks對接DataV完成實時業(yè)務大屏展示。

  • 亞秒級實時進階課進階班 1

    課時:60天 技術點:1000項 測驗:0次 學習方式:線上學習

    學習目標

    1.線上3個月進階大數據實時開發(fā)，多行業(yè)大數據項目助力企業(yè)數字人才精英| 2.皆在成就實時開發(fā)工程師，大數據架構師等，幫助學員成為站在金字塔頂端的實時工程師

    主講內容

    1. 大數據Java語言大數據生態(tài)多語言開發(fā)，為進階實時數據開發(fā)奠定基礎

    01_編程基礎| 02_面向對象| 03_常用類| 04_集合操作| 05_IO操作| 06_Java基礎增強| 07_JDBC| 08_Maven| 09_爬蟲案例

    2. 數據采集掌握實時計算中組件，數據開發(fā)工程師重要技能

    01_Flume| 02_DataX| 03_實時采集

    3. NoSQL&消息中心分布式存儲和消息隊列專項課，從原理到源碼，助力多場景存儲技術架構選型，升值加薪必備技能。

    01_分布式緩存Redis| 02_消息隊列Kafka| 03_Hbase| 04_ELK技術棧| 05_消息隊列Pulsar

    4. 實時OLAP框架掌握實時OLAP框架，數據開發(fā)工程師重要技能。

    01_實時OLAP框架ClickHouse| 02_實時OLAP框架Doris

    5. 數據湖開發(fā)數據湖技術專題課程，完成湖倉一體架構進階。

    01_Hudi 基礎入門篇| 02_Hudi 應用進階篇| 03_Hudi 實戰(zhàn)案例篇

    6. Flink技術棧Apache Flink作為當下流行的實時技術，深度剖析底層原理，實現(xiàn)高級實時開發(fā)工程師進階。

    01_Flink基礎| 02_Flink DataStream的使用| 03_Kafka + Flink| 04_Flink SQL開發(fā)| 05_Hive + Flink SQL| 06_Flink CDC| 07_Flink CEP /Flink CEP SQL| 08_Watermark| 09_Checkpoint| 10_任務調度與負載均衡| 11_狀態(tài)管理| 12_Flink性能監(jiān)控

    7. FlinkSQL原理到精通全網流批一體架構FlinkSQL，進階技術+業(yè)務專家。

    01_Flink SQL開發(fā)| 02_Hive + Flink SQL| 03_Flink性能監(jiān)控| 04_Flink調優(yōu)| 05_Flink SQL執(zhí)行計劃| 06_FlinkSQL案例實戰(zhàn)

    8. 星途車聯(lián)網實時項目掌握車聯(lián)網大數據實時業(yè)務場景開發(fā)，助力物聯(lián)網行業(yè)高薪挑戰(zhàn)。

    01_Hive| 02_HBase| 03_HDFS數據存儲| 04_Kafka數據傳輸| 05_Flink全棧數據處理| 06_Nginx做反向代理| 07_LSV和Keepalived負載均衡和高可用

    9. 今日指數證券實時項目掌握金融業(yè)務數據實時場景實，助力金融行業(yè)高薪挑戰(zhàn)。

    01_Druid| 02_HBase| 03_HDFS數據存儲| 04_Kafka數據傳輸| 05_Flink全棧數據處理| 06_Kylin 多維OLAP分析| 07_Redis高速緩存

    10. 基于DataWorks全鏈路數據開發(fā)掌握智慧出行實時項目業(yè)務數據實時場景，覆蓋全網所有DataWorks平臺大數據。

    01_智慧出行實時項目業(yè)務數據實時場景異構數據源采集| 02_基于DataWorks的大數據平臺設計| 03_出行行業(yè)可視化完整架構，涵蓋全生命周期項目

    11. 湖倉一體化解決方案掌握基于湖倉一體的在線視頻實時分析項目，助力大數據新技術企業(yè)應用。

    01_湖倉一體完整解決方案| 02_基于Flink的在線視頻數據處理與分析| 03_基于Hidi的在線視頻數據數據湖構建

    12. Flink源碼剖析全網Flink源碼課程大全，從原理到源碼，深挖技術底層，助力Flink性能調優(yōu)，大數據架構師必備技能。

    01_Apache Flink設計理念與基本架構| 02_Flink DataStream的設計與實現(xiàn)源碼分析| 03_Flink 運行時的核心原理與實現(xiàn)| 04_Flink 任務提交與執(zhí)行| 05_狀態(tài)管理與容錯| 06_網絡通信| 07_內存管理

    13. Flink二次開發(fā)掌握Flink二次開發(fā)流程，個性化解決企業(yè)大數據平臺技術選型，助力在職的你持續(xù)高薪，大數據架構師必備技能。

    01_基于PyFlink的PR提交| 02_Flink的源碼二次開發(fā)流程| 03_Flink的源碼二次開發(fā)需求分析| 04_Flink的源碼二次開發(fā)實現(xiàn)過程| 05_PyFlink相關功能二次開發(fā)

  • Python+大數據開發(fā) V版本課程說明

    課程名稱：主要針對：主要使用開發(fā)工具：

    課程介紹

“周”更新日志
課程大版本更新

課程更新日志按周更新熱點/前沿技術

  • 新增2023-06-21

    · 量化機制的介紹· 圖優(yōu)化方法的使用

  • 新增2023-06-15

    · yoloV8的架構解析· 雙流FPN結構的設計

  • 新增2023-06-08

    · FlinkSQL表參數· FlinkSQL解析器

  • 新增2023-06-02

    · FlinkSQL的Split分桶· FlinkSQL執(zhí)行計劃翻譯器參數

  • 新增2023-05-26

    · FlinkSQL的上游CDC去重· FlinkSQL多階段聚合

  • 新增2023-05-18

    · FlinkSQL參數優(yōu)化· FlinkSQL異步IO容量· FlinkSQL并行度設置

  • 新增2023-05-18

    · FlinkSQL參數優(yōu)化· FlinkSQL異步IO容量· FlinkSQL并行度設置

  • 新增2023-05-12

    · FlinkSQL語法· FlinKSQL UDF

  • 新增2023-05-06

    · Barrier（柵欄）機制

    升級

    · PyFlink

  • 新增2023-04-27

    · Flink狀態(tài)后端· Flink重啟策略

  • 新增2023-04-19

    · 窗口計算中時間的流逝問題· 窗口的開始和結束范圍

  • 新增2023-04-12

    · Window TVF 方案· Group Window Aggregation方案

  • 新增2023-04-07

    · 動態(tài)表和連續(xù)查詢· Flink中的時間屬性

  • 新增2023-03-31

    · sql-client和Flink JobManager的連接· sql-client結果的顯示模式

  • 新增2023-03-23

    · TableEnvironment· sql-client 工具

    升級

    · Flink Table & SQL API

  • 新增2023-03-23

    · TableEnvironment· sql-client 工具

    升級

    · Flink Table & SQL API

  • 新增2023-03-14

    · Oracle的備份恢復· Oracle的OEM· Oracle的冷熱備份· Oracle的備份恢復

  • 新增2023-03-09

    · Oracle的權限管理· Oracle的審計

  • 新增2023-03-01

    · Oracle的進程結構和內存結構· Oracle的監(jiān)聽器

  • 新增2023-02-22

    · Oracle數據庫管理· Oracle存儲結構

  • 新增2023-02-16

    · Oracle的存儲函數· Oracle的存儲過程· Oracle的觸發(fā)器

  • 新增2023-02-08

    · Oracle的PLSQL編程· Oracle的游標

  • 新增2023-02-03

    · Oracle索引· Oracle事務· Oracle常用工具

  • 新增2023-01-29

    · Oracle序列· Oracle同義詞

  • 新增2023-01-18

    · Oracle視圖· Oracle物化視圖

  • 新增2023-01-10

    · Oracle數據定義語言· Oracle常見對象

  • 新增2023-01-04

    · Oracle基礎· Oracle的查詢語法及綜合案例

  • 新增2022-12-27

    · Hive的explain執(zhí)行計劃詳解· Hive數據壓縮、存儲格式、自動化腳本、常見性能優(yōu)化內容優(yōu)化

  • 新增2022-12-21

    · PSM價格敏感度模型開發(fā)· Presto對接多數據源實現(xiàn)指標統(tǒng)計分析

  • 新增2022-12-13

    · RFM用戶價值度模型開發(fā)· RFE用戶或月底模型開發(fā)

  • 新增2022-12-07

    · 用戶畫像解決方案項目BI可視化實時統(tǒng)計結果數據· 用戶畫像解決方案項目BI可視化流程

  • 新增2022-12-01

    · 用戶行為埋點日志etl· 用戶行為埋點日志聚合統(tǒng)計· 用戶行為埋點日志統(tǒng)計結果入庫

  • 新增2022-11-24

    · 用戶行為埋點日志產生流程與漏斗模型

  • 新增2022-11-17

    · nginx日志ip定位，uv、pv、ua、access_time解析· nginx日志入庫mysql· 實時分析任務基類開發(fā)

  • 新增2022-11-08

    · nginx日志介紹與產生的流程· nginx日志解析etl· nginx日志聚合統(tǒng)計

  • 新增2022-11-03

    · 操作采集nginx日志到kafka中· 結構化流實現(xiàn)消費nginx日志數據案例

  • 新增2022-10-26

    · flume實現(xiàn)采集數據到hdfs· flume實現(xiàn)數據采集到kafka· 實時基礎與kafka要點回顧

  • 新增2022-10-20

    · flume與實時數據采集流程· flume概述與核心要素· 標簽類型與總結

  • 新增2022-10-13

    · 購買周期標簽思路與實現(xiàn)· 支付方式標簽思路與實現(xiàn)· 標簽類型與總結

  • 新增2022-10-07

    · 匹配標簽開發(fā)· 統(tǒng)計類標簽開發(fā)

  • 新增2022-09-26

    · 基于標簽開發(fā)基類重寫統(tǒng)計類標簽和規(guī)則類標簽

  • 新增2022-09-20

    · spark實現(xiàn)統(tǒng)計類標簽開發(fā)· spark實現(xiàn)規(guī)則類標簽開發(fā)

  • 新增2022-09-14

    · spark與mysql整合· spark與es整合

  • 新增2022-09-06

    · 用戶畫像數據檢驗的三種方式· 從hive導入數據到es實現(xiàn)· es元數據對象解析

  • 新增2022-08-23

    · es集成hadoop生態(tài)圈· es-hive支持· es-hive案例與參數

  • 新增2022-08-23

    · es核心原理與關鍵概念· es的resultful api· python代碼操作es

  • 新增2022-08-17

    · es基礎· 使用es的原因· es的架構

  • 新增2022-08-09

    · 用戶畫像核心業(yè)務流程· sparksql分析引擎· 數倉六層模型

  • 新增2022-08-01

    · 自動導入oracle數據· 自動創(chuàng)建文件目錄· 記錄自動化過程日志

  • 新增2022-07-25

    · 自動創(chuàng)建hive表· 自動創(chuàng)建hive分區(qū)· 自動關聯(lián)hdfs數據

  • 新增2022-07-18

    · 數倉建模方法論· 日期維度程序生成· 維度模型選型

  • 新增2022-07-11

    · docker虛擬網橋與網卡· 宿主機與docker容器 · 創(chuàng)建大數據組件容器

  • 新增2022-07-04

    · 行程地理區(qū)域維度· 組織機構維度· 服務網點維度

  • 新增2022-06-28

    · 加油站維度· 服務屬性維度· 物流公司維度 · 故障維度

  • 新增2022-06-21

    · 數倉整體設計圖· 技術選型設計圖· 項目原始數據庫結構圖

  • 新增2022-06-14

    · ODS建模后，使用SQOOP導入數據· DWD根據業(yè)務使用全量表、增量表、拉鏈表等不同的方式實現(xiàn)· DWB層的訂單明細表關聯(lián)了訂單表、訂單副表、訂單組表、店鋪表、地區(qū)表、訂單商品快照表等· 商品明細表關聯(lián)了商品表、商品分類表（三層分類）、商品品牌表等

  • 升級2022-06-07

    · 使用新版數據庫，包含完整的訂單、商品、用戶、配送及支付、退款等數據· 實戰(zhàn)提取訂單相關的指標和維度  · Flink多語言開發(fā)· Flink監(jiān)控調優(yōu)

  • 新增2022-05-31

    · Flink背壓機制· Flink內存管理· Python語言操作Flink

  • 新增2022-05-24

    · FlinkSink新特性· FlinkSQL整合Hive· 分層規(guī)范，通過對數據業(yè)務的分析，將數倉分為ODS, DWD, DWB, DM, APP五層

  • 新增2022-05-17

    · FlinkSQL&Table理論部分比重，移除過期API,使用新版API · FlinkSQL整合Kafka案例· 雙流Join知識點和案例分層規(guī)范，通過對數據業(yè)務的分析，將數倉分為ODS, DWD, DWB, DM, APP五層

  • 新增2022-05-10

    · Flink版本為1.14· 弱化DataSetAPI講解,加強DataStreamAPI-流批一體新特性的講解· 移除過期API,增加DataStream、Window、Watermaker新版API使用講解

  • 新增2022-05-03

    · 實時業(yè)務-實時統(tǒng)計Top10熱點題· 實時業(yè)務-實時統(tǒng)計答題最活躍的Top10年級· 實時業(yè)務-實時統(tǒng)計Top10熱點題及所屬科目

  • 新增2022-04-26

    · 數據模擬程序寫入到Kafka· 實時分析學生答題情況· StructuredStreaming實時分析入口程序· python完成電商行業(yè)ETL實戰(zhàn)· ETL基礎概念· ETL完成的Pipeline構建流程

  • 新增2022-04-19

    · 結構化流更新，刪除Rate數據源-文件數據源· 刪除企業(yè)不常用SparkStreaming

  • 新增2022-04-12

    · Spark中Continuous Processing· Spark3.2新特性· Spark性能調優(yōu)九項原則、數據傾斜、shuffle優(yōu)化· 新增Spark教育行業(yè)案例，方便學員掌握RDD和DataFrame的使用

  • 新增2022-04-05

    · StructuredStreaming 處理延遲數據和水印· StructuredStreaming 結構化流數據和靜態(tài)數據Join· StructuredStreaming 結構化流數據和結構化路數據Join

  • 新增2022-03-29

    · 離線業(yè)務分析-各科目熱點題分析· 離線業(yè)務分析-各科目推薦題分析

  • 新增2022-03-22

    · StructuredStreaming 物聯(lián)網設備數據分析案例· StructuredStreaming 基于事件時間的窗口

  • 新增2022-03-15

    · SparkSQL底層執(zhí)行原理· StructedStream結構化流內容· Pandas的教育案例數倉實戰(zhàn)

  • 升級2022-03-08

    · 升級Spark版本到3.2· 升級Spark的主流開發(fā)語言為Python· 優(yōu)化Spark的Standalone方式安裝,使用local和yarn模式· Spark3.2整合Hive3.1.2版本兼容問題

  • 新增2022-03-01

    · MySQL的教育案例數倉實戰(zhàn)· Pandas基礎使用,作為理解Spark數據類型的基礎· Pandas的Series數據結構· 增加在線教育案例

  • 新增2022-02-25

    · Python版本Hbase的API調用· Python的教育案例數倉實戰(zhàn)· StructuredStreaming Sink內容· StructuredStreaming 整合Kafka

  • 新增2022-02-18

    · Flume采集MoMo數據集場景· 實時和離線方式處理數據場景· Python版本Kafka的調用· NoSQL階段多場景項目實戰(zhàn)

  • 新增2022-02-11

    ·Flume1.9數據采集方式· Hbase2.x新特性

    升級

    · Hbase的BulkLoader全量數據加載方式

  • 新增2022-02-04

    ·Python版本MapReduce寫法

  • 新增2022-01-28

    · python腳本實現(xiàn)增量從oracle導入數據到hdfs中 · python腳本實現(xiàn)全量從oracle導入數據到hdfs中 · python腳本實現(xiàn)上傳avro文件到hdfs上

  • 新增2022-01-21

    · python腳本實現(xiàn)壓縮表的avro文件為tar.gz文件 · python腳本實現(xiàn)avro壓縮文件上傳hdfs · python實現(xiàn)讀取oracle表原始數據 · python實現(xiàn)創(chuàng)建hive表

  • 新增2022-01-14

    · python實現(xiàn)自定義記錄日志 · python實現(xiàn)讀取一行行文本文件工具類 · python讀取表信息轉對象方法 · python實現(xiàn)sparksql創(chuàng)建數據庫和表 · python實現(xiàn)sparksql創(chuàng)建分區(qū)關聯(lián)表對應的hdfs數據方法

  • 新增2022-01-07

    · python實現(xiàn)sparksql查詢ods層明細數據并加載到dwd層方法 · python實現(xiàn)sparksql查詢ods層明細數據并加載到dwd層方法 · 造數據平臺 · 新特殊字段類型

  • 新增2021-12-24

    · 字段類型 · flink源碼前置基礎 · 源碼的編譯和部署 · flink啟動腳本的解讀 · yarn-per-job模式解析

  • 新增2021-12-17

    · flink任務調度機制 · flink內存模型 · HIve3新特性 · Hive3數據壓縮，存儲格式等內容 · Hadoop3新特性

  • 新增2021-12-10

    · 概念和通用api介紹 · sqlclient工具的使用 · catalogs知識點的學習 · 流處理中的概念介紹

  • 新增2021-12-03

    · flinksql中的窗口使用 · FlinkSQL函數操作 · Flinksql連接到外部系統(tǒng) · flinksql的原理和調優(yōu) · sql操作參考

  • 新增2021-11-26

    · flink on yarn的第三種部署方式（Application Mode） · 自定義source · transformation算子minby和maxby · transformation的八大物理分區(qū)的原理和實現(xiàn) · flink的global window的操作

  • 新增2021-11-19

    · flink內置水印函數的操作 · flink的window的ReduceFunction · flink的state的數據結構的api升級 · flink的window的ProcessWindowFunction · flink的window的具有增量聚合的ProcessWindowFunction

  • 新增2021-11-12

    · flink的window的在 ProcessWindowFunction 中使用每個窗口狀態(tài) · flink的state的ttl機制 · flink的state的數據結構的api升級 · flink的Queryable State知識點 · 異步io的vertx框架實現(xiàn)

  • 新增2021-11-05

    · flink的join操作 · Streaming File Sink連接器的小文件操作 · 數據類型及序列化的原理和實現(xiàn)案例 · 熱門銷售排行TopN的使用案例 · 布隆過濾器結合TTL的使用案例

  • 新增2021-10-29

    · PySpark的安裝 · PySpark任務提交方式 · PySpark多種模式spark-submit · PySpark實現(xiàn)wordcount案例實戰(zhàn)

  • 新增2021-10-22

    · Anaconda安裝使用 · Python實現(xiàn)RDD的基礎的Transformation操作 · Python實現(xiàn)RDD的Action操作 · Python實現(xiàn)Sougou分詞案例 · Python實現(xiàn)IP熱度分析案例

  • 新增2021-10-15

    · Python實現(xiàn)PV-UV-TOPK案例 · Python實現(xiàn)累加器及案例優(yōu)化 · Python實現(xiàn)廣播變量案例及優(yōu) · Python實現(xiàn)緩存案例及優(yōu)化實現(xiàn) · PySparkSQL實現(xiàn)基礎統(tǒng)計操作

  • 新增2021-10-08

    · PySpark實現(xiàn)DataFrame的基礎操作 · PySpark實現(xiàn)DataFrame的wordcount操作 · PySpark實現(xiàn)DataFrame和RDD的轉換操作 · PySpark實現(xiàn)電影評分數據集分析

  • 新增2021-09-24

    · PySpark的底層Dataframe如何轉化為RDD的原理操作 · PySparkSQL的優(yōu)化方式 · PySparkSQL分布式引擎實現(xiàn) · PySparkSQL與HIve整合 · PySpark離線教育案例

  • 新增2021-09-17

    · PySpark新零售分析案例 · ETL、ELT區(qū)別 · Hive CTE表達式、更新union聯(lián)合查詢 · 大數據5V特點 · 大數據多個應用場景

  • 更新2021-09-10

    · pandas及可視化課程迭代至v2.01 · 數據分析多場景項目迭代至v1.81 · 最新版Python基礎編程v2.01 · 最新版Python編程進階更新迭代至v2.01 · 制定v2.0版本課程大綱

  • 升級2021-09-03

    · 完善flink的運行架構內容 · 完善flink與kafka連接器的操作 · 完善flink的window操作的講義 · 完善ODS層，新增和更新抽取方式，畫圖錯誤

  • 更新2021-08-27

    · Flink版本為1.13最新版 · Flink table&sql的整體概述 · 項目開發(fā)語言為spark官方使用最多的python語言

  • 更新2021-08-20

    · Spark語言為官方使用最多的Python語言 · Spark版本為3.1.2發(fā)行版，Hive3.1.2版本

  • 升級2021-08-13

    · 升級HDFS讀寫流程原理圖 · 升級Hadoop為最新3.3.0版本 · 升級編排Linux2天講義 · 升級Mysql RPM安裝方式以支持hive3

  • 優(yōu)化2021-08-06

    · 優(yōu)化Hive知識點案例 同步為Hive3版本 · 優(yōu)化Linux基礎命令，刪除了不常用命令 · 優(yōu)化使用Python實現(xiàn)MR原理機制

  • 優(yōu)化2021-08-03

    · 優(yōu)化OLAP、OLTP區(qū)別 · 優(yōu)化Hadoop版本安裝及注意事項 · 優(yōu)化數據分析基本步驟（6部曲） · 優(yōu)化Hive版本為最新的3.1.2版本

  • 優(yōu)化2021-07-27

    · 優(yōu)化HIve3.x架構 · 優(yōu)化PySpark執(zhí)行流程，引入Py4J技術 · 優(yōu)化車聯(lián)網Web展示部分 · 優(yōu)化車聯(lián)網離線Hive數倉構建部分

  • 新增2021-07-20

    · 新增數倉整體設計圖 · 新增技術選型設計圖 · 新增項目原始數據庫結構圖

  • 新增2021-07-13

    · 新增油站維度 · 新增服務屬性維度 · 新增物流公司維度 · 新增故障維度

  • 新增2021-07-06

    · 新增行程地理區(qū)域維度 · 新增組織機構維度 · 新增服務網點維度 · 新增數倉建模方法論 · 新增日期維度程序生成

  • 新增2021-06-29

    · 新增維度模型選型 · 新增自動創(chuàng)建hive表 · 新增自動創(chuàng)建hive分區(qū) · 新增自動關聯(lián)hdfs數據 · 新增自動導入oracle數據

  • 新增2021-06-22

    · 新增自動創(chuàng)建文件目錄 · 新增記錄自動化過程日志 · 新增java和數據結構大數據題目4個  · 新增算法題目4個 · 新增Hadoop題目6個

  • 新增2021-06-15

    · 新增hive題目3個 · 新增spark題目7個 · 新增flink題目4個 · 新增其他大數據組件題目4個 · 新增美團大數據架構

  • 新增2021-06-08

    · 新增平安大數據架構解決方案 · 新增小米大數據架構解決方案 · 新增百度廣告業(yè)務場景大數據架構解決方案

  • 新增2021-06-01

    · 新增Flume1.9數據采集方式 · 新增Flume采集MoMo數據集場景 · 新增實時和離線方式處理數據場景 · 新增SparkWebUI功能解釋

  • 新增2021-05-25

    · 新增SparkSQL比重 · 新增StructedStream雙流Join知識點 · 新增Spark多語言開發(fā)-JavaSpark和PySpark

  • 新增2021-05-18

    · 新增SparkMlLib-ALS推薦算法案例和原理 · 新增SparkMlLib-線性回歸算法案例和原理 · 新增SparkMlLib-決策樹算法案例和原理

  • 新增2021-05-11

    · 新增Spark3.0新特性 · 新增Spark性能調優(yōu)九項原則、N多配置參數、數據傾斜、shuffle優(yōu)化 · 新增IP查詢案例

  • 新增2021-05-04

    · 新增教師案例Spark案例 · 新增DataStream、Window、Watermaker新版API使用講解 · 新增FlinkSQL&Table理論部分比重，使用新版API· 新增FlinkSQL整合Kafka案例· 新增雙流Join知識點和案例

  • 新增2021-04-26

    · 新增Execl數據分析，整合Execl圖標、透視表等使用 · 新增Execl分析項目 · 新增Tableau的BI分析工具及項目實· Tableau電商項目

  • 新增2021-04-19

    · BI工具使用 · 數據分析報告 · 數據儀表板展示· Tableau電商項目

  • 新增2021-04-12

    · Excel數據處理和計算 · Excel透視表 · Excel圖表· Excel基本使用

  • 新增2021-04-05

    · 數據埋形式 · 數據埋點方案 · 數據需求文檔· 后端埋點

  • 升級2021-03-29

    · 定時爬蟲 · 下單并發(fā)處理 · 中文分詞· 用戶畫像

  • 新增2021-03-22

    · 阿里搜索解決方案 · 快遞解決方案 · Django即時通訊· mysql集群管理

  • 新增2021-03-15

    · 騰訊聊天機器人 · 騰訊文字識別 · python操作mycat · 小程序開發(fā)

  • 新增2021-03-08

    · django_extensions使用 · axios網易案例 · 阿里云方案 · django-channels使用

  • 新增2021-03-01

    · pytest自定義插件使用 · pytest異步調用 · pytest定時執(zhí)行 · pytest標記使用

  • 升級2021-02-22

    · Cookie和Session使用 · Django類裝飾器 · Django多對多查詢 · Django關聯(lián)查詢

  • 升級2021-02-15

    · 推薦算法 · 數據可視化 · sql數據查詢 · H5語法

  • 升級2021-02-08

    · 美多狀態(tài)保持 · Django框架請求對象獲取數據 · Django模版 · Django拓展類

  • 新增2021-02-01

    · asyncio編程 · RabbitMQ的Confirm機制 · RocketMQ使用 · Celery定時任務

  • 新增2021-01-25

    · Angular管道 · Angular路由 · Angular使用HTTP · Angular表單

  • 新增2021-01-18

    · Ant Design · TypeScript類型斷言 · TypeScript內置對象 · TypeScript代碼檢查

  • 升級2021-01-11

    · Django認證 · Django權限控制 · 美多商城發(fā)送短信 · 美多商場QQ登錄

  • 升級2021-01-04

    · SQL查詢 · 數據倉庫 · 業(yè)務報表· Pandas

  • 新增2020-12-28

    · 機器學習排序算法 · 購物籃分析 · RFM模型· K均值聚類算法

  • 新增2020-12-21

    · 物品畫像 · 用戶畫像 · 召回算法· 漏斗分析

  • 升級2020-12-14

    · 狀態(tài)保持 · 權限管理 · 頁面靜態(tài)化· xpath工具

  • 升級2020-12-07

    · 極驗驗證 · jieba分詞 · shell代碼發(fā)布· 對象存儲

  • 新增2020-11-30

    · ES集群搭建 · IK中文分詞 · ES聚合查詢· ES凍結解凍索引

  • 新增2020-11-23

    · Kafka Broker集群 · Topic模型 · kafka數據備份· kafka消息持久化

  • 升級2020-11-16

    · pandas的apply方法 · pandas的transform方法 · pandas的to_numeric函數· Pandas內置聚合方法

  • 升級2020-11-09

    · elk日志監(jiān)控 · shell代碼發(fā)布 · ubuntu版本20.04· 移動端測試

  • 優(yōu)化2020-11-02

    · mysql讀寫分離 · reids哨兵 · redis安全限制· Keepalived非搶占模式

  • 新增2020-10-26

    · VIP腦裂 · MyCAT使用 · WA配置使用· redis持久化

  • 新增2020-10-19

    · HA Cluster高可用集群 · Keepalived使用 · VRRP協(xié)議· nginx服務切換

  • 升級2020-10-12

    · fastDFS使用 · shell使用 · docker使用· nginx使用

  • 升級2020-10-05

    · cookie和session案例 · mysql主從 · mysql集群· redis主從

  • 升級2020-09-28

    · Django用戶權鑒 · Django表單 · Django-froms· Django站點管理

  • 新增2020-09-07

    · Ansible使用 · AWX使用 · ceph使用· zabbix使用

  • 升級2020-08-31

    · 登錄判斷中間件 · cache緩存使用 · 購物車數據存儲· git沖突解決

  • 新增2020-08-24

    · pyautogui使用 · uiautomator使用 · PO模式· mock測試

  • 新增2020-08-17

    · Django轉換器 · Django用戶認證拓展類 · Django權限認證拓展類· Haystack搜索類

  • 升級2020-08-10

    · python操作reids · redis高可用 · redis集群搭建· redis持久化

  • 升級2020-08-03

    · mysql事務使用 · mysql主從搭建 · mysql客戶端使用 · mysql外鍵操作

  • 新增2020-07-27

    · mongodb聚合 · mongodb索引 · mongodb權限· 常見反爬手段

  • 新增2020-07-20

    · 緩存擊穿 · 緩存雪崩 · 雪花算法

  • 升級2020-07-13

    · Locust 性能測試 shell編程 · msyql數據庫 · redis緩存 ·

  • 升級2020-07-06

    · redis集群 · gitfollow工作流 · 定時爬蟲 · elk

  • 升級2020-06-29

    · 響應對象的處理 · 細化Cookie及Session的處理 · 鏈接失效的爬蟲案例 · 美后臺權限控制

  • 新增2020-06-22

    · 高性能爬蟲 · 多線程爬蟲案例 · Flask-Migrate 數據模型設計 · 智慧大屏案例

  • 升級2020-06-15

    · UnitTest斷言: 比較斷言，復雜斷言 · 路由系統(tǒng)全線升級 · 數據圖片化反爬 · redis緩存

  • 新增2020-06-08

    · Jmter 圖形監(jiān)視器擴展插件 · 警告斷言 · 異常斷言 · Jmter性能調試

  • 新增2020-06-01

    · 性能測試報告分析 · 新增分庫訪問 · 優(yōu)化Fixtures的參數化 · protometheus使用

  • 新增2020-05-25

    · flask-sqlalchemy二次開發(fā) · 數據解析-BeautifulSoup4 · Jmeter分布式并發(fā)測試的配置 · zabbix使用

  • 新增2020-05-18

    · Jmeter實現(xiàn)參數化 · 數據庫測試 · 實現(xiàn)跨線程組傳值 · lua基礎

  • 新增2020-05-11

    · 自定義讀寫分離 · 認證體系 · 訪問劫持 · 安全策略

  • 新增2020-05-04

    · Redis悲觀鎖 · 布隆過濾器 · 文件安全 · WAF實踐

  • 升級2020-04-27

    · 搜索接口結構 · elsticsearch使用 · celerybug處理 · rabbitMQ使用

  • 升級2020-04-20

    · Locust關聯(lián) · Locust斷言 · Locust各種業(yè)務場景下的參數化 · pipeline使用

  • 升級2020-04-13

    · 更改Scrapy以及Scrapy-redis項目 · Selenium知識點演示案例 · redis哨兵機制 · mysql主從搭建

  • 升級2020-04-06

    · 時間戳/頁碼/偏移量分頁 · gitflow工作流 · sentry使用 · xss安全

  • 新增2020-03-30

    · Pytest.mark · flask緩存工具類 · 多級緩存 · mysql注入攻擊

  • 新增2020-03-23

    · 禪道的不同角色使用 · Mysql垂直拆分 · Flask-SQLAlchemy的讀寫分離 · Mysql水平拆分

  • 升級2020-03-16

    · 性能測試分類 · 性能監(jiān)控指標 · 性能測試流程 · celery使用

  • 新增2020-03-09

    · 定時抓取數據爬蟲 · Appium對APP數據的抓取 · 常見性能測試工具優(yōu)化 · Filebeat詳解

  • 升級2020-03-02

    · 禪道的部署方式 · django框架升級為2.25版本 · 美多詳情頁靜態(tài)化 · 商品spu表結構

  • 新增2020-01-16

    · 美多商城緩存 · elk日志監(jiān)控 · docker部署美多商城 · shell代碼發(fā)布

  • 升級2020-01-09

    · 等價類劃分法演示案例 · 邊界值法的演示案例 · 容聯(lián)云發(fā)送短信 · fastDFS圖片上傳

  • 新增2020-01-02

    · 測試用例的設計方法 · 獲取用戶信息模塊的單元測試 · 登錄注冊模塊的單元測試 · jenkins使用

  • 升級2019-12-26

    · Django自帶單元測試模塊 · Mysql數據庫教法調整 · 黑馬頭條緩存使用 · dockerfile使用

  • 新增2019-12-19

    · Locust 性能測試 · HttpLocust和Locust · TaskSet TaskSequence · seq_task

  • 升級2019-11-28

    · 異常案例的講解 · 代碼健壯性提升方式 · 登錄狀態(tài)判斷 · 異常處理

  • 升級2019-11-21

    · 商品模塊代碼進行了調整 · Redis事務型管道 · 反爬案例 · 搜索方法優(yōu)化

  • 新增2019-11-14

    · 新增字體反爬 · Charles/fiddler抓包工具講解 · Redis非事務型管道 · 新增shell編程

  • 升級2019-11-07

    · PO模型 · Requests模塊的使用 · Get/Post等Http請求 · 試用例的設計方法

  • 新增2019-10-31

    · Flask項目搭建Flask-CORS · Fixtures實現(xiàn)SetUp和TearDown · 美多商城登錄功能自動化測試 · Redis緩存數據集合

  • 升級2019-10-24

    · 黑馬頭條前端代碼 · 分布式事務 · 美多商城前臺改為前后端分離模式 · admin后端管理站點講解

  • 新增2019-10-17

    · 美多商城支付模塊單元測試 · Jmeter 性能測試報告 · TestCase Client FactoryRequest Mock · 美多商城下單模塊性能測試

  • 新增2019-10-10

    · 黑馬頭條業(yè)務邏輯: 用戶認證 、修改頭像 · 黑馬頭條業(yè)務邏輯: 頻道管理 · 黑馬頭條業(yè)務邏輯: 文章列表/詳情 · 黑馬頭條業(yè)務邏輯: 關注用戶 評論回復


點擊加載更多>>
2023.08.21 升級版本4.0

課程名稱

Python+大數據開發(fā)課程

課程推出時間

2023.08.21

課程版本號

4.0

技術課程

Hadoop3.3，Spark3.4，阿里云Flink（FlinkCDC、FlinkCEP、FlinkSQL），StarRocks，Paimon，ElasticSearch

課程介紹

● Python大數據V4.0課程全新升級，緊貼各類企業(yè)招聘需求，升級阿里云平臺全套大數據技術棧，全程采用六項目制驅動技術學習，助力國家數字化轉型對數字人才的大量需求。

● 多位Apache社區(qū)貢獻者聯(lián)袂授課，從原理、實戰(zhàn)到源碼，帶你邁入高級開發(fā)工程師行列。

● 課程覆蓋企業(yè)級大數據六大主流解決方案，包括離線數倉解決方案、流批一體解決方案和湖倉一體解決方案、用戶畫像解決方案、推薦系統(tǒng)解決方案、數據治理解決方案，再現(xiàn)公司中真實的開發(fā)場景，目標不止于就業(yè)，而是成為各類企業(yè)爭搶的大數據開發(fā)工程師。

● 課程升級主流大數據技術棧，全新Hadoop3.3，Spark3.4，阿里云實時計算Flink技術剖析和新特性使用，推出黑馬甄選業(yè)務的全套解決方案課程，不僅可以學習到企業(yè)真實完整的業(yè)務場景，將六大技術解決方案應用到黑馬甄選泛電商業(yè)務中，能勝任企業(yè)級離線數倉、實時數倉、用戶畫像、推薦系統(tǒng)、數據治理等核心大數據開發(fā)工作。

● 項目課程實施“講A練B”與"看圖說話"新模式, 以思路分析為導向提高學員獨立開發(fā)能力,并推動學員在邏輯思維與語言表達能力方向的持續(xù)提升,為學員在面試中以及在企業(yè)獨立開發(fā)中打下堅實的基礎

1

新增數據治理解決方案，結合包括元數據管理、數據標準、指標系統(tǒng)、數據建模等在內的數據治理能力，聚焦企業(yè)數字化轉型，深挖數據價值，提升企業(yè)數據生產力。滿足就業(yè)市場中中高級數據工程師需求，提升學生就業(yè)競爭力。

1

新增通過AIGC助力編程效率提升，完成數據開發(fā)和數據分析任務。

1

新增Paimon、StarRocks新技術，將技術應用到實時項目中，更加全面提升通過技術解決業(yè)務問題能力。

1

新增新版面試加強課，內容集成了大廠架構解析、SQL專項面試寶典，以及不斷滾動更新的全網大數據崗位面試題講解，助力學員高起點就業(yè)。

1

更新由Apache Flink1.17課程升級為阿里云實時計算Flink版，通過阿里云全套大數據組件學習，貼近中小型企業(yè)大數據開發(fā)真實環(huán)境，提升學生就業(yè)競爭力。

1

新增黑馬甄選實時計算項目由阿里云實時計算Flink全棧開發(fā)，從FlinkCDC數據采集，Kafka實時數倉分層，Paimon數據湖構建湖倉一體架構，將數據接入Starrocks進行OLAP分析和查詢，最后通過DataV完成企業(yè)級業(yè)務大屏展示。

1

新增大數據BI報表開發(fā)項目實戰(zhàn)階段，通過Python+SQL+FineReport完成電商業(yè)務統(tǒng)計分析和大屏展示。

1

友情提示更多學習視頻+資料+源碼，請加QQ：2632311208。

2023.01.01 升級版本3.2

課程名稱

Python+大數據開發(fā)課程

課程推出時間

2023.01.01

課程版本號

3.2

主要使用開發(fā)工具

PyCharm，IDEA，DataGrip，F(xiàn)inalShell

課程介紹

● 優(yōu)勢1：課程升級深度調研市場需求，針對行業(yè)解決方案：離線數倉解決方案、用戶畫像解決方案、湖倉一體解決方案，打造多行業(yè)多場景大數據開發(fā)工程師。

● 優(yōu)勢2：6項目制，2大項目實戰(zhàn)，新增PB級內存計算項目實戰(zhàn)，應對企業(yè)級大數據開發(fā)工程師需求。

● 優(yōu)勢3：研究院精心研發(fā)基于實時技術棧全新架構的出行行業(yè)和電商行業(yè)大數據項目，讓學生具備更強項目經驗要求。

● 優(yōu)勢4：最短路徑教會企業(yè)最實用的技術，案例練習促進吸收；每日作業(yè)夯實學習成果；階段項目實戰(zhàn)，學以致用。

1

新增基于Flink的悠游出行大數據平臺

1

新增基于Flink的優(yōu)購電商優(yōu)選項目

1

新增用戶畫像解決方案項目，包含了新零售、電商、金融保險等多行業(yè)畫像解決方案

1

升級Spark內存計算階段項目實戰(zhàn)

1

新增大數據Java語言基礎，為Flink技術棧提供語言支持

1

新增SQL大廠面試題，貫穿課堂每日一練，提升SQL技術能力

1

新增Hudi數據湖，Hudi on Hive構建湖倉一體架構

1

新增Python版NoSQL課程，達到企業(yè)級萬億級數據存儲目標

1

新增Doris、ClickHouse多維數據分析

1

優(yōu)化億品新零售項目中數倉建模理論基礎，強化數倉建模工具使用

1

優(yōu)化車聯(lián)網項目全新架構升級

1

優(yōu)化Flink技術課程版本更新至1.16，豐富實時計算新特性

1

優(yōu)化Spark技術課程版本更新至3.3.0，增加Spark新特性講解

1

優(yōu)化優(yōu)化Hadoop模塊，增強Hive模塊

1

優(yōu)化優(yōu)化Python編程內容，為Spark提供語言支持

1

優(yōu)化ETL項目增加從HDFS到Hive的數據抽取、轉換、加載方式

1

優(yōu)化ETL項目增加DataX數據采集

1

優(yōu)化ETL項目增加Apache DolphinScheduler調度全流程數據處理過程

1

優(yōu)化Flink技術棧突出以FlinkSQL為主核心技術

2022.06.01 升級版本3.0

課程名稱

Python+大數據開發(fā)課程

課程推出時間

2022.06.01

課程版本號

3.0

主要針對

       　　 技術課程：ETL開發(fā)、NoSQL中間件課程、新版Flink課程

主要使用開發(fā)工具

PyCharm、DataGrip、FinalShell

課程介紹

● Python大數據V3.0課程全新升級，緊貼各類企業(yè)招聘需求，采用六項目制驅動技術學習，助力國家數字化轉型對數字人才的大量需求

● 多位Apache社區(qū)貢獻者聯(lián)袂授課，從原理、實戰(zhàn)到源碼，帶你邁入高級開發(fā)工程師行列

● 課程覆蓋企業(yè)級大數據四大主流解決方案，包括離線數倉解決方案、用戶畫像解決方案、流批一體解決方案和湖倉一體解決方案，再現(xiàn)公司中真實的開發(fā)場景，目標不止于就業(yè)，而是成為各類企業(yè)爭搶的大數據開發(fā)工程師。

● 課程升級主流大數據技術棧，全新Hadoop3.2，Spark3.2，F(xiàn)link1.15技術剖析和新特性使用，推出Python全棧ETL開發(fā)課程，不僅可以學習到完整的基礎ETL流程、工具，更能勝任千億級、亞秒級等復雜數據源情況下的工作。

● 新增基于Python和SQL的Flink課程，滿足就業(yè)市場中，大數據開發(fā)崗位更多的依賴SQL、Python的需求變化。

● 新增 基于Python的Kafka、Elasticsearch等全新課程，夯實實時計算開發(fā)基礎能力，幫助學員掌握數據開發(fā)工程師重要技能。

● 新增 新版面試加強課，內容集成了大廠架構解析、SQL專項面試寶典，以及不斷滾動更新的全網大數據崗位面試題講解，助力學員高起點就業(yè)。

1

新增基于Python的全棧ETL開發(fā)課程，助力學員勝任ETL中高級開發(fā)崗位

1

新增全網基于PySpark技術棧的用戶畫像項目，替換原有舊項目，提升簡歷含金量

1

新增知行教育項目實戰(zhàn)，學習完整企業(yè)級項目實戰(zhàn)流程，讓學生真正掌握大數據開發(fā)精髓

1

升級Spark技術課程為20223.2版本、Flink技術課程為20221.15版本，全網率先加入Pandas on Spark數據開發(fā)內容

1

新增FlinkSQL湖倉一體項目、FlinkSQL流批一體課程，進階Flink高階工程師，助力突破年薪50W

1

新增SparkSQL底層執(zhí)行原理，StructuredStreaming結構化流內容

1

升級Spark3.2整合Hive3.1.2版本兼容問題

1

新增Pandas_udf函數，通過Apache Arrow框架優(yōu)化數據處理速度；Pandas技術棧，能夠處理中小型數據量

1

新增Python版NoSQL課程，達到企業(yè)級萬億級數據存儲目標

1

新增Kafka-Python完成企業(yè)級消息隊列流量削峰， 異步通信等任務

1

新增ElasticSearch技術棧，達到企業(yè)級大數據搜索工程師目標

1

升級PySpark的DataFrame操作、Flink任務調度機制以及Flink內存模型、Flink table&sql的整體概述

1

新增FlinkSQL的原理和調優(yōu)、Flink on Yarn的多種部署方式、Flink transformation的八大物理分區(qū)的原理和實現(xiàn)、Flink的window窗口操作，以及內置水印函數的操作

1

新增Hadoop3.x新特性、Hive3.x新特性，以及數據壓縮、存儲格式等內容

1

升級Python基礎，增加PyEcharts等BI內容，實現(xiàn)可視化大屏

1

新增Presto對接多數據源實現(xiàn)企業(yè)級大數據OLAP分析、Presto加速對Hive數倉之上數據構建大數據分析引擎，實現(xiàn)多維指標計算

1

新增企業(yè)級BI工具FineBI，適用于多行業(yè)項目BI大屏展示，助力企業(yè)數字決策

1

新增Flink table&sql概念和通用api介紹、sqlclient工具的使用、catalogs知識點的學習、流處理中的概念介紹

1

新增FlinkSQL中的窗口使用、FlinkSQL函數操作、Flinksql連接到外部系統(tǒng)

1

新增Flink源碼前置基礎、源碼的編譯和部署、Flink啟動腳本的解讀、yarn-per-job模式解析

1

升級車聯(lián)網Web展示部分、車聯(lián)網離線Hive數倉構建部分

2021.06.01 升級版本2.0

課程名稱

Python+大數據開發(fā)課程

課程推出時間

2021.06.01

課程版本號

2.0

主要針對

新零售數倉項目、云上服務器集群

主要使用開發(fā)工具

新零售數倉項目、云上服務器集群

課程介紹

● 經過不斷的版本迭代，正式推出新零售數倉項目課程，替換原有的舊項目，打造過硬的項目實戰(zhàn)經驗

● 新增價值百萬的UCcloud云上集群生產環(huán)境用于學習，完全云服務開發(fā)環(huán)境體驗

● 新增項目實戰(zhàn)環(huán)節(jié)，再現(xiàn)企業(yè)中真實工作場景，夯實開發(fā)實戰(zhàn)能力

1

升級PySpark執(zhí)行流程

1

新增Spark3.x新特性以及性能調優(yōu)九項原則

1

升級Hive版本為新的3.x版本

1

新增自動導入oracle數據，自動創(chuàng)建hive表，自動創(chuàng)建hive分區(qū)，自動關聯(lián)hdfs數據，自動創(chuàng)建文件目錄，并記錄自動化過程日志

1

升級Flink版本為新版

1

新增FlinkSQL&Table理論部分比重，使用新版API，使用新增FlinkSQL整合Kafka案例

1

新增美團、平安、小米大數據架構，以及百度廣告業(yè)務場景大數據架構解決方案

1

新增flink的global window的操作、內置水印函數的操作

1

升級 flink的window的ReduceFunction、AggregateFunction、ProcessWindowFunction、具有增量聚合的ProcessWindowFunction、在 ProcessWindowFunction 中使用每個窗口狀態(tài)

1

新增flink的state的ttl機制、state的數據結構的api升級、Queryable State知識點

1

新增Flink異步io的vertx框架實現(xiàn)、flink的join操作（Tumbling Window Join、Sliding Window Join、Session Window Join）

1

新增Streaming File Sink連接器的小文件操作

1

新增數據類型及序列化的原理和實現(xiàn)案例

1

新增Flink Action綜合練習：熱門銷售排行TopN的使用案例、布隆過濾器結合TTL的使用案例

2021.01.01 升級版本1.6

課程名稱

Python+大數據開發(fā)課程

課程推出時間

2021.01.01

課程版本號

1.6

主要針對

Spark3.x

主要使用開發(fā)工具

Pycharm、Idea、Datagrip、FinalShell

課程介紹

● 針對Spark3.x版本的重大更新，應對就業(yè)崗位需求的快速變化，大數據課程推出基于Python的Spark課程

● 新增大數據工程師必備的SQL面試進階強化內容，提升大數據開發(fā)工程師核心SQL能力

● 新增大廠數倉架構專題內容，提升數據倉庫建設能力

1

升級Hadoop為3.3.0版本、Hive版本為3.1.2版本、HIve3.x架構

1

新增使用Python實現(xiàn)MR原理機制、OLAP、OLTP區(qū)別

1

新增MapReduce計算PI原理、MapReduce Python接口調用、Hadoop Streaming提交程序、ETL、ELT區(qū)別

1

新增HIve3新特性、Hive3數據壓縮，存儲格式、Hive CTE表達式

1

升級union聯(lián)合查詢、Hive知識點案例 同步為Hive3版本、Linux課程、Mysql RPM安裝方式以支持hive3

1

升級Spark語言為官方推薦使用的Python語言、版本更新為Spark3.1.2發(fā)行版、adoop3.3.0、Hive3.1.2版本

1

新增PySpark的安裝、任務提交方式、多種模式spark-submit、實現(xiàn)wordcount案例實戰(zhàn)

1

新增Python實現(xiàn)RDD操作、DataFrame操作、實現(xiàn)Sougou分詞案例、IP熱度分析案例、PV-UV-TOPK案例

1

新增PySparkSQL實現(xiàn)基礎統(tǒng)計操作、底層Dataframe轉化RDD原理操作、實現(xiàn)電影評分數據集分析、離線教育案例、新零售分析案例

1

新增PySparkSQL的優(yōu)化方式、分布式引擎實現(xiàn)、與HIve整合

2020.06.01 重磅推出 新版1.0

課程名稱

Python+大數據開發(fā)課程

課程推出時間

2020.06.01

課程版本號

1.0

主要針對

大數據引入Python語言、Pandas數據分析

主要使用開發(fā)工具

Pycharm、Idea、Datagrip

課程介紹

● 8.1版本以前的數據開發(fā)課程，需要一定Java基礎和工作經驗，為了幫助進入數據開發(fā)行業(yè)的零基礎學員找到適宜的入門途徑，大數據引入Python語言，全新升級為Python+大數據開發(fā)1.0版本。

● 學習Python大數據開發(fā)，以Python技術棧處理中小型數據集，以大數據技術棧處理海量大規(guī)模數據，成為全能企業(yè)級數據開發(fā)人才。

● 其特點適合零基礎學員，從完全沒有編程經驗開始；課程內容寬并且深，技術大牛親自授課；面向市場，學即可用，能讓學員高薪就業(yè)。

1

新增Python基礎語言課程

1

新增Python高級語言進階課程

1

新增Python爬蟲課程

1

新增Pandas數據分析課程

1

新增多場景案例分析，應對中小型數據統(tǒng)計分析

2020.01.01 升級版本8.0

課程名稱

云計算大數據實戰(zhàn)班

課程推出時間

2020.01.01

課程版本號

8.0

主要針對系統(tǒng)

Windows、Linux、MacOS

主要使用開發(fā)工具

DataGrip、IDEA

課程介紹

● 根據大量的行業(yè)調研分析，本次課程更新以大數據開發(fā)為主線，在7.0基礎上再次縮減Java課程占比，弱化各類組件安裝。

● 針對大數據技術深度和廣度進行升級，例如新增Spark內存管理、Flink性能優(yōu)化及反壓、背壓原理等同時為提高學員的就業(yè)薪資，推出多行業(yè)項目解決方案，例如證券、物流等。

● 以周為單位進行課程更新升級，新增Elastic Stack、 出行、電商、視頻、社交等領域大數據解決方案、 一線大廠技術架構、 新零售大數據項目實戰(zhàn)，離線實時全覆蓋。

1

新增數據倉庫、ETL、BI開發(fā)

1

新增Oracle及PLSQL編程、數據微服務開發(fā)

1

新增Spark的內存管理、avro序列化數據源

1

新增continuous processing、偏移量管理機制

1

新增KafkaStreams編程、exactly-once、Kafka事務、metrics監(jiān)控

1

新增Hbase的協(xié)處理器和phoneix的二級索引實現(xiàn)、布隆過濾器、LSM樹、StoreFiles結構剖析

1

新增FLink性能優(yōu)化及反壓、背壓指標計算原理、FlinkSQL On Hive、Flink HistoryServer、Flink的UDF、UDAF、UDTF的實現(xiàn)

1

新增在線教育行業(yè)、物流行業(yè)、物聯(lián)網行業(yè)、證券行業(yè)項目

1

升級分布式緩存系統(tǒng)， 萬億級NoSQL海量數據存儲， 分布式流處理平臺、電商行業(yè)項目

1

刪除刪減 JavaWeb

2019.07.22 升級版本7.0

課程名稱

云計算大數據實戰(zhàn)班

課程推出時間

2019.07.22

課程版本號

7.0

主要針對版本

CDH5.14、Spark2.2.0、Flink1.8、Kafka0.11.0.2、ELK6.0

主要使用開發(fā)工具

IntelliJ IDEAA

課程介紹

● 大數據技術目前在企業(yè)里面使用的越來越廣泛，對大數據人才的需求越來越多，大數據的整個課程體系是由來自大型互聯(lián)網、外企等具有5年以上的一線大數據高級工程師、架構師和高級機器學習工程師設計出來的，內容含金量非常高。

● 課程體系涉及的技術以企業(yè)需求為導向，課程涉及的項目也是企業(yè)里面真實的項目，通過理論、實踐和真實的項目相結合，讓學員能夠快速、深刻的掌握大數據常用的核心技術和開發(fā)應用，同時可以滿足企業(yè)對中、高端大數據人才的需求。

● 大數據課程體系除了包含常用的Hadoop、Hive、Hbase、ELK、Sqoop、Flume、Kafka、Spark等技術和項目，還新增了目前互聯(lián)網比較流行的Flink、Druid、Kylin等技術和項目，同時引入了機器學習和深度學習Spark Mllib和Tensorflow等技術和項目實戰(zhàn)。

1

新增Impala即席查詢組件、Kudu列存儲服務、Structured Streaming結構化數據流處理

1

新增spark MLlib數據挖掘、spark graphX圖計算

1

升級Flink的基礎課程和案例實戰(zhàn)

1

新增Flink高級特性CEP、Kylin數據OLAP分析、Druid時序數據實時分析、Kettle數據ETL工具

1

新增深度學習框架Tensorflow

1

新增用戶畫像、數據倉庫大型企業(yè)實戰(zhàn)型項目

2018.09.10 升級版本6.0

課程名稱

云計算大數據實戰(zhàn)班

課程推出時間

2018.09.10

課程版本號

6.0

主要針對版本

JDK1.8\CDH2.7.4\Storm1.1.1\Spark 2.1

主要使用開發(fā)工具

IntelliJ IDEA

課程介紹

● 本課程是基于V5.0的一次重大更新，匯總并收集了大數據學科一年以來15個零基礎班級的授課信息、學習信息、就業(yè)信息。

● 重新調整了課程的分布情況，新增了大數據綜合項目，新增了第四代大數據處理框架FLink，新增了數據庫優(yōu)化，新增了JVM基礎及原理，新增了Spark性能調優(yōu)等內容。

● 課程升級方面，主要對機器學習課程進行了升級，推薦系統(tǒng)項目后置變成7天的豐富課程，提升學員進入機器學習的競爭力，從而更好的從事人工智能領域相關的工作。

● 整體而言，課程在培養(yǎng)中高級大數據工程師的方向上又前進了一大步。

1

新增Hadoop 2.7.2\Storm1.1.1\Spark 2.1

1

新增Java virtual machine原理分析、Java高并發(fā)核心知識

1

新增數據庫優(yōu)化及調優(yōu)、第四代大數據處理框架Apache Flink、Spark原理深入剖析及生產調優(yōu)

1

新增互聯(lián)網反欺詐項目實戰(zhàn)、廣告系統(tǒng)業(yè)務模型及CTR預估

1

新增用戶畫像、數據倉庫大型企業(yè)實戰(zhàn)型項目

1

升級用戶畫像概述/數據/建模/算法實戰(zhàn)、推薦系統(tǒng)協(xié)同過濾算法實戰(zhàn)、基于內容的推薦系統(tǒng)實戰(zhàn)、基于關聯(lián)規(guī)則推薦系統(tǒng)實戰(zhàn)

1

升級混合推薦與CTR點擊預估

1

升級Hadoop版本為CDH

2017.07.01 升級版本5.0

課程名稱

云計算大數據實戰(zhàn)班

課程推出時間

2017.07.01

課程版本號

5.0

主要針對版本

JDK1.8\Hadoop 2.7.2\Storm1.1.1\Spark 2.1

主要使用開發(fā)工具

Eclipse、IDEA

課程介紹

● Java基礎、JavaWeb核心編程、JavaWeb三大框架、網絡爬蟲、分布式電商網站開發(fā)等課程模塊。培養(yǎng)學生編程能力，讓零基礎學員能夠更好的學習大數據項目。

● 大數據方面方面，新增點擊流日志收集系統(tǒng)、用戶日志分析報表系統(tǒng)、用戶畫像系統(tǒng)等案例。讓學員不僅僅學習到大數據技術點，能夠使用大數據解決實際問題。

● 擴充機器學習課程為10天。該課程歷時一年研發(fā)，深入淺出，能夠讓學員更好的入門機器學習，成為人工智能開發(fā)的初級工程師。

1

升級Hadoop 2.7.2\Storm1.1.1\Spark 2.1

1

新增網絡爬蟲開發(fā)

1

新增三大框架開發(fā)

1

新增JavaWeb核心

1

新增Java語言基礎

2016.03.01 升級版本4.0

課程名稱

云計算大數據實戰(zhàn)班

課程推出時間

2016.03.01

課程版本號

4.0

主要針對版本

JDK7.x

主要使用開發(fā)工具

Eclipse、IDEA

課程介紹

● 對比原有課程，本次課程做了重大更新，將大數據的核心技術hadoop及其生態(tài)圈技術完美的融入到了課程中。

● 課程分階段的進行案例實戰(zhàn)和項目實戰(zhàn)，在大數據方面知識體系更加完整，課程更加深度有深度，更加貼近實戰(zhàn)。

● 分階段的進行大數據生態(tài)圈的學習，將生態(tài)圈分為離線處理，實時流計算和實現(xiàn)火熱的spark內存計算，完美的將生態(tài)圈進行了抽離和歸類，讓學習變得更便捷。

1

升級Spark1.6版本

1

新增Linux操作系統(tǒng)和shell腳本學習

1

新增JVM內存模型分析、NIO、Netty、自定義RPC框架

1

新增電商點擊流日志分析、電商實時日志告警平臺、交易風控風控平臺、流量日志分析分析

1

新增Spark游戲日志分析項目

1

刪除KVM虛擬化技術、網絡基礎和OpenvSwitch技術、Ceph存儲技術

1

刪除CloudStack云管理平臺、混合云管理平臺項目

2015.05.15 升級版本3.0

課程名稱

云計算大數據實戰(zhàn)班

課程推出時間

2015.05.15

課程版本號

3.0

主要針對版本

JDK7.x

主要使用開發(fā)工具

Eclipse、IDEA

課程介紹

● 本次更新將大數據和虛擬化這兩大熱門技術加入到課程體系中，在大數據方面知識體系更加完整，課程更加深度有深度，更加貼近實戰(zhàn)。

● 在虛擬化方面，選擇了在云計算領域常用的虛擬化、網絡、存儲等技術，并通過Apache CloudStack技術整合，在此基礎上開發(fā)混合云管理平臺。

1

升級Hadoop2.0版本、Hive優(yōu)化課程

1

新增電信流量運營分析項目、混合云管理平臺項目

1

新增Scala函數式編程、Spark內存計算、KVM虛擬化技術

1

新增網絡基礎和OpenvSwitch技術

1

新增Ceph存儲技術、CloudStack云管理平臺

2014.02.15 升級版本2.0

課程名稱

云計算大數據實戰(zhàn)班

課程推出時間

2014.02.15

課程版本號

2.0

主要針對版本

JDK6.x

主要使用開發(fā)工具

Eclipse

課程介紹

● 隨著近年來云計算大數據的大力發(fā)展，市場對相關人才需求急增，所以本版課程在原有的云計算課程進行了顛覆性的改革，把原來只有1天的課程擴展為7天，加入了Hadoop生態(tài)圈的相關技術。

1

升級云計算課程、Hadoop集群部署、優(yōu)化HDSF、MapReduce案例

1

新增Hadoop生態(tài)圈相關技術：Zookeeper、Hive、Hbase、Sqoop、Flume

1

新增Storm實時計算技術和案例

1

新增黑馬論壇日志分析項目

2012.02.15 升級版本1.0

課程名稱

云計算大數據實戰(zhàn)班

課程推出時間

2012.02.15

課程版本號

1.0

主要針對版本

JDK6.0

主要使用開發(fā)工具

Eclipse

課程介紹

● 近期云計算概念火爆異常，傳智教育敏銳的嗅探到大數據技術的悄然興起，并預測大數據技術將會像雨后春筍一樣快速發(fā)展，所以傳智教育與時俱進在課程中引入了1天的云計算課程，作為擁有大數據課程的培訓機構，傳智教育大數據實戰(zhàn)班助力學員可以掌握新的技術，拓寬學員的就業(yè)方向，增強就業(yè)競爭力。

1

新增云計算課程：云計算和大數據相關概念

1

新增Hadoop 1.0偽分布式環(huán)境部署

1

新增HDFS、MapReduce應用案例

                                                       

 
和我們在線交談！