全部 Python+大數(shù)據(jù)新聞動態(tài) Python+大數(shù)據(jù)技術(shù)文章 Python+大數(shù)據(jù)學(xué)習(xí)常見問題 技術(shù)問答

• • 

    kafka什么時候會做rebalance重平衡?

    當(dāng)一個新的消費(fèi)者加入到群組中時，或者一個已經(jīng)離開的消費(fèi)者重新加入，都可能觸發(fā)Rebalance。這可能是由于新的消費(fèi)者希望加入消費(fèi)者群組，或者舊的消費(fèi)者重新加入，這樣就需要重新分配分區(qū)。 查看全文>>

    Python+大數(shù)據(jù)學(xué)習(xí)常見問題2024-02-02 |傳智教育 |kafka什么時候會做rebalance重平衡

  • 

    從原理上說一下mpp和mr的區(qū)別?

    MPP(Massively Parallel Processing)和MR(MapReduce)是兩種不同的數(shù)據(jù)處理框架，用于處理大規(guī)模數(shù)據(jù)集。它們有一些相似之處，但在原理和實現(xiàn)上存在一些顯著的區(qū)別。 查看全文>>

    Python+大數(shù)據(jù)學(xué)習(xí)常見問題2024-02-01 |傳智教育 |從原理上說一下mpp和mr的區(qū)別

  • 

    簡述Hive的行轉(zhuǎn)列和列轉(zhuǎn)行函數(shù)

    Hive是一個基于Hadoop的數(shù)據(jù)倉庫工具，用于處理大規(guī)模的數(shù)據(jù)集。在Hive中，有一些函數(shù)可用于行轉(zhuǎn)列(Pivot)和列轉(zhuǎn)行(Unpivot)操作。這些函數(shù)主要用于將表中的數(shù)據(jù)在行和列之間進(jìn)行轉(zhuǎn)換。 查看全文>>

    Python+大數(shù)據(jù)學(xué)習(xí)常見問題2024-01-31 |傳智教育 |Hive的行轉(zhuǎn)列和列轉(zhuǎn)行函數(shù)

  • 

    reduceBykey和groupBykey有啥區(qū)別嗎?

    reduceByKey和groupByKey是Spark中的兩個不同的轉(zhuǎn)換操作，用于處理鍵值對(key-value pairs)的RDD(Resilient Distributed Dataset)。它們之間的主要區(qū)別在于它們執(zhí)行的操作和結(jié)果的組織方式。 查看全文>>

    Python+大數(shù)據(jù)學(xué)習(xí)常見問題2024-01-30 |傳智教育 |reduceBykey和groupBykey有啥區(qū)別

  • 

    fsimage和edit的區(qū)別是什么?

    在Hadoop分布式文件系統(tǒng)(HDFS)中，fsimage和edits是兩個關(guān)鍵的元數(shù)據(jù)文件，用于記錄文件系統(tǒng)的狀態(tài)和變更。它們一起工作以維護(hù)文件系統(tǒng)的一致性和持久性。以下是它們的主要區(qū)別： 查看全文>>

    Python+大數(shù)據(jù)學(xué)習(xí)常見問題2024-01-29 |傳智教育 |fsimage和edit的區(qū)別

  • 

    scrapy的去重原理是什么?

    Scrapy是一個用于爬取網(wǎng)站數(shù)據(jù)的Python框架，它內(nèi)置了一個去重(Duplicate Removal)的機(jī)制，以確保在爬取過程中不會重復(fù)獲取相同的數(shù)據(jù)。Scrapy的去重原理主要基于請求的指紋(fingerprint)來進(jìn)行判斷。以下是Scrapy去重的詳細(xì)說明。 查看全文>>

    Python+大數(shù)據(jù)學(xué)習(xí)常見問題2024-01-26 |傳智教育 |scrapy的去重原理

  • 

    Namenode、Job tracker和task tracker的端口號是?

    在Hadoop 1.x版本中，NameNode、JobTracker和TaskTracker的默認(rèn)端口號如下。 查看全文>>

    Python+大數(shù)據(jù)學(xué)習(xí)常見問題2024-01-25 |傳智教育 |Namenode、Job tracker和task tracker的端口號

  • 

    Map到Reduce默認(rèn)的分區(qū)機(jī)制是什么?

    在MapReduce中，默認(rèn)的分區(qū)機(jī)制是基于鍵(key)的哈希分區(qū)(Hash Partitioning)。MapReduce框架將Map階段產(chǎn)生的鍵值對按照鍵進(jìn)行哈希運(yùn)算，然后將結(jié)果對分區(qū)數(shù)取模，從而確定每個鍵值對應(yīng)的分區(qū)。這樣可以確保具有相同鍵的鍵值對會被分配到相同的分區(qū)，方便后續(xù)的Reduce階段進(jìn)行處理。 查看全文>>

    Python+大數(shù)據(jù)學(xué)習(xí)常見問題2024-01-24 |傳智教育 |Map到Reduce默認(rèn)的分區(qū)機(jī)制

  << < 1 2 3 4 5 6 7 8 9 ... 48 > >>