獨(dú)立同分布IID(independent and identically distributed)

1.獨(dú)立同分布(i.i.d.)

在概率統(tǒng)計理論中，如果變量序列或者其他隨機(jī)變量有相同的概率分布，并且互相獨(dú)立，那么這些隨機(jī)變量是獨(dú)立同分布。

在西瓜書中解釋是：輸入空間中的所有樣本服從一個隱含未知的分布，訓(xùn)練數(shù)據(jù)所有樣本都是獨(dú)立地從這個分布上采樣而得。

2.簡單解釋 — 獨(dú)立、同分布、獨(dú)立同分布

(1)獨(dú)立：每次抽樣之間沒有關(guān)系，不會相互影響

舉例：給一個骰子，每次拋骰子拋到幾就是幾，這是獨(dú)立;如果我要拋骰子兩次之和大于8，那么第一次和第二次拋就不獨(dú)立，因?yàn)榈诙螔伒慕Y(jié)果和第一次相關(guān)。

(2)同分布：每次抽樣，樣本服從同一個分布

舉例：給一個骰子，每次拋骰子得到任意點(diǎn)數(shù)的概率都是六分之一，這個就是同分布

(3)獨(dú)立同分布：i.i.d.，每次抽樣之間獨(dú)立而且同分布

3.機(jī)器學(xué)習(xí)領(lǐng)域的重要假設(shè)

IID獨(dú)立同分布即假設(shè)訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)是滿足相同分布的，它是通過訓(xùn)練數(shù)據(jù)獲得的模型能夠在測試集獲得好的效果的一個基本保障。

4.目前發(fā)展

機(jī)器學(xué)習(xí)并不總要求獨(dú)立同分布，在不少問題中要求樣本數(shù)據(jù)采樣自同一個分布是因?yàn)橄Ｍ糜?xùn)練數(shù)據(jù)集得到的模型可以合理的用于測試數(shù)據(jù)集，使用獨(dú)立同分布假設(shè)能夠解釋得通。

目前一些機(jī)器學(xué)習(xí)內(nèi)容已經(jīng)不再囿于獨(dú)立同分布假設(shè)下，一些問題會假設(shè)樣本沒有同分布。

猜你喜歡：

什么是集成學(xué)習(xí)？集成學(xué)習(xí)算法簡介？

K-近鄰算法(KNN)概念：什么是K-近鄰算法?

什么是Python?最全的python百科

傳智教育AI智能培訓(xùn)