mapreduce用什么軟件處理？

MapReduce是一種基于java的分布式計(jì)算處理技術(shù)和程序模型。MapReduce算法包含兩個(gè)重要的任務(wù)，即Map和Reduce。Map接受一組數(shù)據(jù)并將其轉(zhuǎn)換為另一組數(shù)據(jù)，其中單個(gè)元素被分解為元組(鍵/值對(duì))。其次是reduce task，它將來(lái)自映射的輸出作為輸入，并將這些數(shù)據(jù)元組組合成較小的元組集合。顧名思義，reduce任務(wù)總是在映射作業(yè)之后執(zhí)行。

MapReduce的主要優(yōu)點(diǎn)是，它很容易在多個(gè)計(jì)算節(jié)點(diǎn)上擴(kuò)展數(shù)據(jù)處理。在MapReduce模型下，數(shù)據(jù)處理原語(yǔ)稱為映射器和約簡(jiǎn)器。將數(shù)據(jù)處理應(yīng)用程序分解為映射器和還原器有時(shí)是很重要的。但是，一旦我們?cè)贛apReduce表單中編寫了一個(gè)應(yīng)用程序，將應(yīng)用程序擴(kuò)展到集群中的成百上千甚至上萬(wàn)臺(tái)機(jī)器上，這僅僅是一個(gè)配置更改。正是這種簡(jiǎn)單的可伸縮性吸引了許多程序員使用MapReduce模型。