更新時(shí)間:2023年12月18日10時(shí)19分 來(lái)源:傳智教育 瀏覽次數(shù):
Flume Sources采集到的數(shù)據(jù)通過(guò)Channels就會(huì)流向Sinks中,此時(shí)的Sink類似一個(gè)集結(jié)的遞進(jìn)中心,它需要根據(jù)后續(xù)需求進(jìn)行配置,從而最終選擇是將數(shù)據(jù)直接進(jìn)行集中式存儲(chǔ)(例如,直接存儲(chǔ)到HDFS中),還是繼續(xù)作為其他Agent的Source進(jìn)行傳輸。
在配置Sinks時(shí),需要明確的就是將要傳輸?shù)臄?shù)據(jù)目的地、結(jié)果類型;接著,根據(jù)這些實(shí)際需求信息,選擇Flume已提供支持的Flume Sinks;然后,再根據(jù)選擇的Sinks類型,配置必要和非必要的Sinks屬性。
在Flume1.8.0中,F(xiàn)lume提供并支持的Flume Sinks有很多,如表8-9所示。
表8-9 Flume Sinks種類
表8-9就是Flunme1.8.0官網(wǎng)文檔展示的Flume提供支持的Flume Sinks,接下來(lái),就對(duì)其中一些常用的Flume Sinks進(jìn)行講解說(shuō)明。
北京校區(qū)