什么是有界數(shù)據(jù)集？什么是無(wú)界數(shù)據(jù)流？

有界數(shù)據(jù)集指的是有明確的開(kāi)始和明確的結(jié)束的數(shù)據(jù)，例如JSON文件、CSV文件、TXT文件、MySQL表格、Excel表格都是有界數(shù)據(jù)集，當(dāng)你用它的時(shí)候，有明確的數(shù)據(jù)開(kāi)始和明確的數(shù)據(jù)結(jié)束。對(duì)有界數(shù)據(jù)集的處理，從開(kāi)始就是明確了范圍的。我們將這種處理稱(chēng)為批處理，同時(shí)數(shù)據(jù)有邊界時(shí)(不會(huì)再產(chǎn)生新的數(shù)據(jù))的計(jì)算，稱(chēng)之為離線計(jì)算。

無(wú)界數(shù)據(jù)是有明確的開(kāi)始，但沒(méi)有明確的結(jié)束的數(shù)據(jù)，有源源不斷的數(shù)據(jù)進(jìn)來(lái)等待被處理。有明確的開(kāi)始，沒(méi)有明確的結(jié)束，這樣的數(shù)據(jù)我們稱(chēng)為數(shù)據(jù)流，那有哪些無(wú)界數(shù)據(jù)流呢?

- Kafka

Kafka中的topic的某個(gè)分區(qū)可以算是無(wú)界數(shù)據(jù)流。

- 數(shù)據(jù)有明確的開(kāi)始：offset從0開(kāi)始

- 沒(méi)有明確的結(jié)束：offset最大是多少?不知道，來(lái)一條數(shù)據(jù)加一個(gè)

對(duì)消費(fèi)者來(lái)說(shuō)：

- 數(shù)據(jù)的開(kāi)始起于：消費(fèi)者啟動(dòng)的那一刻

- 數(shù)據(jù)的結(jié)束起于：不確定啥時(shí)候結(jié)束，有數(shù)據(jù)就繼續(xù)干活，沒(méi)數(shù)據(jù)就等待數(shù)據(jù)

> 無(wú)界數(shù)據(jù)流的處理，由于沒(méi)有明確的結(jié)束點(diǎn)，一般稱(chēng)之為：流(源源不斷)計(jì)算

> 又是因?yàn)閿?shù)據(jù)會(huì)源源不斷的到來(lái)的特性，所以不能斷網(wǎng)，不能叫離線計(jì)算，也稱(chēng)之為：在線計(jì)算、實(shí)時(shí)計(jì)算

> 批處理：從運(yùn)行的那一刻開(kāi)始，就一定會(huì)結(jié)束(正常情況)

> 流計(jì)算：從運(yùn)行的那一刻開(kāi)始，就沒(méi)想過(guò)結(jié)束(正常情況、報(bào)錯(cuò)宕機(jī)不考慮)