隔着超薄肉丝进入小说_男女刺激性视频大片_女教师的诱波多野结衣_一级欧美过瘾大片

　　Map階段

　　MapTask進程啟動之后，會根據對應的輸入分片來處理數據，每一個分片分配一個MapTask來處理。

　　使用客戶端指定的InputFormat來讀取數據，常用的就是LineRecordReader對象。它會逐行讀取分片中的數據，并形成一個鍵值對。鍵為行偏移量，值為行記錄。我們通常稱為

　　將讀取到的鍵值對數據輸入到map方法中，進行用戶自己的邏輯處理。并輸出鍵值對，我們稱為

　　map方法輸出的鍵值對，會被搜集進環形緩沖區。環形緩沖區是內存中的一個字節數組，默認的大小是100M。

　　當環形緩沖區中被寫入了80%的數據的時候，會將這80%的部分進行分區、排序，并溢寫到磁盤，生成一個文件。在這個過程中，如果上游還有數據產生，將存儲在剩余的20%的空間內。如果上游產生數據的速度非?？?，剩余的20%也被填充滿，并且80%的數據還沒有溢寫完成，此時任務將阻塞，上游不再讀取數據，直到溢寫文件完成。最終可能會生成多個溢寫的磁盤文件。

　　將每一個溢寫的磁盤文件合并成為一個文件，在合并的過程中，依然會按照分區、Key進行排序。最終，每一個MapTask生成一個磁盤文件。至此，MapTask執行結束。

　　Reduce階段

　　每一個ReduceTask需要去處理一個分區的數據，因此ReduceTask需要到每一個MapTask所在的節點去fetch自己分區的數據。

　　拉取到的數據，如果比較小，會直接保存在內存中，在內存中完成排序，直到達到內存閾值，將其溢寫到文件中;如果比較大，會直接以文件的形式保存起來。

　　數據拉取完成后，會按照設定好的合并因子進行合并。

　　按照Map階段輸出的的鍵進行分組，將相同鍵所對應的所有的值聚合到一起，形成一個集合。

　　將分組之后的鍵值對>，輸入到Reduce方法中，進行邏輯處理。并輸出最終的結果

　　將最終的結果，由客戶端指定的OutputFormat進行輸出。至此ReduceTask結束。