大數(shù)據(jù)培訓(xùn)：如何定義數(shù)據(jù)清洗

　　數(shù)據(jù)清洗技術(shù)是提高數(shù)據(jù)質(zhì)量的有效方法。這項技術(shù)是一個較新的研究領(lǐng)域，對大數(shù)據(jù)集的清洗工作需要花費很長的時間。由于不同的應(yīng)用領(lǐng)域?qū)?shù)據(jù)清洗有不同的解釋，因此數(shù)據(jù)清洗直到現(xiàn)在都沒有一個公認、統(tǒng)一的定義。數(shù)據(jù)清洗主要應(yīng)用于3個領(lǐng)域，即數(shù)據(jù)倉庫領(lǐng)域、數(shù)據(jù)挖掘領(lǐng)域以及數(shù)據(jù)質(zhì)量管理領(lǐng)域。

　　在數(shù)據(jù)倉庫領(lǐng)域中，當(dāng)多個數(shù)據(jù)庫合并時或多個數(shù)據(jù)源進行集成時，都需要進行數(shù)據(jù)清洗。例如，當(dāng)同一個實體的記錄在不同數(shù)據(jù)源中以不同的表示格式或錯誤表示的情況下，合并后的數(shù)據(jù)倉庫中就會出現(xiàn)重復(fù)的記錄，數(shù)據(jù)清洗的程序就需要識別出重復(fù)的記錄并消除重復(fù)的記錄，也就是所謂的數(shù)據(jù)合并或清除(Merge/Purge)問題。在數(shù)據(jù)倉庫環(huán)境中，數(shù)據(jù)清洗主要包括數(shù)據(jù)的清洗和結(jié)構(gòu)的轉(zhuǎn)換兩個過程。

　　在數(shù)據(jù)挖掘領(lǐng)域中，數(shù)據(jù)清洗是數(shù)據(jù)進行預(yù)處理過程的第一個步驟。在數(shù)據(jù)預(yù)處理應(yīng)用中，數(shù)據(jù)清洗的主要任務(wù)是提高數(shù)據(jù)的可用性，即去除噪聲。無關(guān)數(shù)據(jù)以及空值等，并考慮數(shù)據(jù)的動態(tài)變化。在字符分類問題中，通過使用機器學(xué)習(xí)的技術(shù)進行數(shù)據(jù)清洗，即使用特定算法檢測數(shù)據(jù)庫對缺失和錯誤的數(shù)據(jù)予以修改。

　　在數(shù)據(jù)質(zhì)量管理領(lǐng)域中，數(shù)據(jù)質(zhì)量管理是一個學(xué)術(shù)界和商業(yè)界都感興趣的領(lǐng)域。數(shù)據(jù)質(zhì)量管理主要用于解決信息系統(tǒng)中的數(shù)據(jù)質(zhì)量及集成問題。在該領(lǐng)域中，數(shù)據(jù)清洗主要從數(shù)據(jù)質(zhì)量的角度出發(fā)，把數(shù)據(jù)清洗過程和數(shù)據(jù)生命周期集成在一起，對數(shù)據(jù)的正確性進行檢查并提高數(shù)據(jù)質(zhì)量。