從原理上說一下mpp和mr的區(qū)別?

　　MPP(Massively Parallel Processing)和MR(MapReduce)是兩種不同的數(shù)據(jù)處理框架，用于處理大規(guī)模數(shù)據(jù)集。它們有一些相似之處，但在原理和實現(xiàn)上存在一些顯著的區(qū)別。

　　1.計算模型：

　　(1)MPP：

　　MPP系統(tǒng)采用共享架構(gòu)，其中多個處理單元(節(jié)點)共享相同的內(nèi)存和存儲資源。每個節(jié)點獨立執(zhí)行計算任務(wù)，但它們可以直接訪問整個數(shù)據(jù)集。

　　(2)MR：

　　MapReduce采用分布式計算模型，任務(wù)被分解為Map和Reduce兩個階段，每個階段都可以在不同的節(jié)點上并行執(zhí)行。Map階段處理數(shù)據(jù)并生成中間鍵值對，Reduce階段對這些中間結(jié)果進行聚合。

　　2.任務(wù)執(zhí)行流程：

　　(1)MPP：

　　MPP系統(tǒng)通常支持復(fù)雜的查詢和事務(wù)處理，可以在整個數(shù)據(jù)集上執(zhí)行SQL查詢等操作，而不僅僅是簡單的Map和Reduce。

　　(2)MR：

　　MapReduce主要用于處理批處理任務(wù)，適用于離線數(shù)據(jù)處理。它的執(zhí)行流程是Map階段將數(shù)據(jù)切分成小塊進行并行處理，然后Reduce階段對這些部分結(jié)果進行合并。

　　3.數(shù)據(jù)分布和存儲：

　　(1)MPP：

　　MPP系統(tǒng)通常使用共享存儲，并且數(shù)據(jù)可以在整個集群中共享。這種架構(gòu)有助于復(fù)雜查詢的執(zhí)行，因為查詢可以在整個數(shù)據(jù)集上執(zhí)行而無需數(shù)據(jù)移動。

　　(2)MR：

　　MapReduce系統(tǒng)中，數(shù)據(jù)通常被切分成小塊并分布在各個節(jié)點上。Map階段的計算在數(shù)據(jù)所在的節(jié)點上進行，Reduce階段可能需要將數(shù)據(jù)移動到一個節(jié)點進行合并。

　　4.適用場景：

　　(1)MPP：

　　適用于復(fù)雜的分析查詢、交互式查詢和事務(wù)處理。常見的MPP系統(tǒng)包括Teradata、Greenplum等。

　　(2)MR：

　　適用于大規(guī)模的批處理任務(wù)，對于離線數(shù)據(jù)分析和處理較為有效。Hadoop是一個典型的MapReduce框架。

　　總體而言，MPP系統(tǒng)更適用于需要支持復(fù)雜查詢和事務(wù)處理的場景，而MapReduce更適合處理大規(guī)模的離線數(shù)據(jù)處理任務(wù)。