全部 大數(shù)據(jù)新聞動態(tài) 大數(shù)據(jù)技術(shù)文章 大數(shù)據(jù)常見問題 技術(shù)問答

• • 

    如何選擇好的大數(shù)據(jù)培訓(xùn)機(jī)構(gòu)？

    目前來說大數(shù)據(jù)培訓(xùn)機(jī)構(gòu)太多了，各種各樣的都有，不過水平怎么樣就很少有人知道。那么如何挑選靠譜的培訓(xùn)機(jī)構(gòu)呢?傳智播客為大家總結(jié)了幾點(diǎn)： 查看全文>>

    大數(shù)據(jù)技術(shù)文章2018-12-12 |傳智播客 |大數(shù)據(jù)培訓(xùn),大數(shù)據(jù),大數(shù)據(jù)培訓(xùn)機(jī)構(gòu)

  • 

    hbase數(shù)據(jù)庫介紹

    hbase是bigtable的開源java版本。是建立在hdfs之上，提供高可靠性、高性能、列存儲、可伸縮、實(shí)時(shí)讀寫nosql的數(shù)據(jù)庫系統(tǒng)。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2018-11-26 |傳智播客 |傳智播客,大數(shù)據(jù)

  • 

    大數(shù)據(jù)離線階段我們應(yīng)該學(xué)習(xí)的是模塊開發(fā)的結(jié)果導(dǎo)出

    MySQL，Oracle到Hadoop的HDFS，并從Hadoop的文件系統(tǒng)導(dǎo)出數(shù)據(jù)到關(guān)系數(shù)據(jù)庫。由Apache軟件基金會提供。 Sqoop：“SQL 到 Hadoop 和 Hadoop 到SQL”。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2018-11-16 |傳智播客 |大數(shù)據(jù),Scala

  • 

    學(xué)好Zookeeper Java API是大數(shù)據(jù)基礎(chǔ)加強(qiáng)的必修

    Zookeeper 是在 Java 中客戶端主類，負(fù)責(zé)建立與 zookeeper 集群的會話， 并提供方法進(jìn)行操作。 org.apache.zookeeper.Watcher 查看全文>>

    大數(shù)據(jù)技術(shù)文章2018-11-16 |傳智播客 |Zookeeper,大數(shù)據(jù)

  • 大數(shù)據(jù)離線階段Day8之MapReduce工作機(jī)制詳解

    整個(gè)Map階段流程大體如上圖所示。簡單概述：input File通過split被邏輯切分為多個(gè)split文件，通過Record按行讀取內(nèi)容給map(用戶自己實(shí)現(xiàn)的)進(jìn)行處理，數(shù)據(jù)被map處理結(jié)束之后交給OutputCollector收集器，對其結(jié)果key進(jìn)行分區(qū)(默認(rèn)使用hash分區(qū))，然后寫入buffer，每個(gè)map task都有一個(gè)內(nèi)存緩沖區(qū)，存儲著map的輸出結(jié)果，當(dāng)緩沖區(qū)快滿的時(shí)候需要將緩沖區(qū)的數(shù)據(jù)以一個(gè)臨時(shí)文件的方式存放到磁盤，當(dāng)整個(gè)map task結(jié)束后再對磁盤中這個(gè)map task產(chǎn)生的所有臨時(shí)文件做合并，生成最終的正式輸出文件，然后等待reduce task來拉數(shù)據(jù)。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2018-10-24 |傳智播客 |傳智播客,大數(shù)據(jù)

  • 

    面試題之趣味邏輯題

    1.給定a、b兩個(gè)文件，各存放50億個(gè)url，每個(gè)url各占64字節(jié)，內(nèi)存限制是4G，讓你找出a、b文件共同的url? 查看全文>>

    大數(shù)據(jù)技術(shù)文章2018-10-24 |傳智播客 |傳智播客,大數(shù)據(jù)

  • 

    面試題之hadoop相關(guān)

    首先map task會從本地文件系統(tǒng)讀取數(shù)據(jù)，轉(zhuǎn)換成key-value形式的鍵值對集合 　　使用的是hadoop內(nèi)置的數(shù)據(jù)類型，比如longwritable、text等 查看全文>>

    大數(shù)據(jù)技術(shù)文章2018-10-24 |傳智播客 |傳智播客,大數(shù)據(jù)，hadoop

  • 

    Scala編譯器安裝

    1.1. 安裝JDK 因?yàn)镾cala是運(yùn)行在JVM平臺上的，所以安裝Scala之前要安裝JDK。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2018-09-30 |傳智播客 |大數(shù)據(jù),Scala

  << < 1 ... 29 30 31 32 33 34 35 36 37 38 > >>