基于清洗方式的“臟”數(shù)據(jù)分類【大數(shù)據(jù)技術文章】

基于清洗方式的“臟”數(shù)據(jù)分類

從圖1-2中可以看出，獨立型“臟”數(shù)據(jù)包括單數(shù)據(jù)源和多數(shù)據(jù)源所有模式層及大多數(shù)實例層的數(shù)據(jù)質(zhì)量問題;依賴型“臟”數(shù)據(jù)包括缺失數(shù)據(jù)和重復數(shù)據(jù)等“臟”數(shù)據(jù)。下面對獨立型“臟”數(shù)據(jù)和依賴型“臟”數(shù)據(jù)進行詳細講解。

1)獨立型“臟”數(shù)據(jù)

獨立型“臟”數(shù)據(jù)可通過記錄或本身屬性檢驗出是否包含“臟”數(shù)據(jù)，不需要依賴其他記錄或?qū)傩詸z測。獨立型“臟”數(shù)據(jù)使用“數(shù)據(jù)合法性檢驗規(guī)則”檢測數(shù)據(jù)字段的實際內(nèi)容，若屬性值不符合規(guī)則，則視為“臟”數(shù)據(jù)，此時可調(diào)用已定義的相關清洗方式，將其變?yōu)闈M足規(guī)則的數(shù)據(jù)，從而可以保證數(shù)據(jù)的合法性。

合法性檢驗是判斷數(shù)據(jù)是否符合給定標準的過程，判斷標準是用戶根據(jù)業(yè)務需要定義的一些檢驗規(guī)則，該規(guī)則主要檢驗的是數(shù)據(jù)的格式、數(shù)據(jù)的范圍、數(shù)據(jù)的枚舉清單以及數(shù)據(jù)的相關性等方面，具體介紹如下。

·數(shù)據(jù)的格式主要是檢驗記錄的某個字段或字段組中的數(shù)據(jù)是否符合規(guī)范格式，這是針對模式層的“臟”數(shù)據(jù)進行檢驗。

·數(shù)據(jù)的范圍主要是檢查記錄的字段數(shù)據(jù)是否在預期的范圍內(nèi)，常用于檢驗數(shù)字和有效值。

·數(shù)據(jù)的枚舉清單主要是參照某個已定義的清單檢驗字段的值。

·數(shù)據(jù)的相關性主要通過主鍵和外鍵的關系實現(xiàn)。

綜上所述，數(shù)據(jù)的合法性檢驗是一個非常耗時的環(huán)節(jié)，但也是一個必不可少的環(huán)節(jié)，因此，該環(huán)節(jié)應高度自動化。在設計清洗程序時，應該內(nèi)置較多的檢驗函數(shù)和環(huán)節(jié)，這樣可以減少用戶定制數(shù)據(jù)合法性檢驗規(guī)則的工作量。

數(shù)據(jù)轉(zhuǎn)換是將“臟”數(shù)據(jù)進行清洗的過程，包括模式轉(zhuǎn)換和實例轉(zhuǎn)換。其中，模式轉(zhuǎn)換用來解決模式層“臟”數(shù)據(jù)的問題，通過在元數(shù)據(jù)庫中定義表字段的映射規(guī)則、字段拆分規(guī)則以及字段值合并規(guī)則等協(xié)調(diào)數(shù)據(jù)模式之間的差異，從而實現(xiàn)數(shù)據(jù)的清洗;實例轉(zhuǎn)換是根據(jù)源數(shù)據(jù)字段的實際內(nèi)容，結合一定的領域知識解決拼寫錯誤、輸人錯誤、不同的計量單位及過時的編碼等實例層“臟”數(shù)據(jù)問題。