教育行業(yè)A股IPO第一股（股票代碼 003032）

全國咨詢/投訴熱線：400-618-4000

boosting集成原理：什么是boosting?

更新時間:2021年04月30日15時19分 來源:傳智教育 瀏覽次數(shù):

什么是boosting?

boosting實現(xiàn)過程01

隨著學習的積累從弱到強，簡而言之：每新加入一個弱學習器，整體能力就會得到提升。代表算法：Adaboost，GBDT，XGBoost。


實現(xiàn)過程

（1）訓練第一個學習器

boosting實現(xiàn)過程02

（2）調(diào)整數(shù)據(jù)分布

boosting實現(xiàn)過程03

（3）訓練第二個學習器

boosting實現(xiàn)過程04

（4）再次調(diào)整數(shù)據(jù)分布

boosting實現(xiàn)過程05

（5）依次訓練學習器，調(diào)整數(shù)據(jù)分布

boosting實現(xiàn)過程06

（6）整體過程實現(xiàn)

boosting實現(xiàn)過程07

關(guān)鍵點：

如何確認投票權(quán)重?

如何調(diào)整數(shù)據(jù)分布?

boosting實現(xiàn)過程08

AdaBoost的構(gòu)造過程小結(jié)

boosting實現(xiàn)過程09

bagging集成與boosting集成的區(qū)別：


區(qū)別一:數(shù)據(jù)方面

Bagging：對數(shù)據(jù)進行采樣訓練;

Boosting：根據(jù)前一輪學習結(jié)果調(diào)整數(shù)據(jù)的重要性。


區(qū)別二:投票方面

Bagging：所有學習器平權(quán)投票;

Boosting：對學習器進行加權(quán)投票。


區(qū)別三:學習順序

Bagging的學習是并行的，每個學習器沒有依賴關(guān)系;

Boosting學習是串行，學習有先后順序。


區(qū)別四:主要作用

Bagging主要用于提高泛化性能(解決過擬合，也可以說降低方差)

Boosting主要用于提高訓練精度 (解決欠擬合，也可以說降低偏差)

boosting實現(xiàn)過程10


猜你喜歡：

語言模型-BERT：bert算法介紹

人工智能要學python嗎?人工智能要學習哪些知識?

傳智教育人工智能培訓課程

0 分享到：
和我們在線交談！