項(xiàng)目介紹本次結(jié)合的是一份淘寶大數(shù)據(jù)數(shù)據(jù)，數(shù)據(jù)集的大小共177MB，數(shù)據(jù)一共有3182261份（三百多萬(wàn)份數(shù)據(jù)集），一般的軟件是無(wú)法計(jì)算和分析的，比如Excel，MySQL，Python這些都無(wú)法較好的完成相關(guān)數(shù)據(jù)分析。1.Excel一般是一萬(wàn)多行的數(shù)據(jù)就不可以了。2.Python與MySQL雖然可以，但是查詢的效率卻不敢保證，容易出現(xiàn)電腦死機(jī)或者卡死，這個(gè)與電腦本身的配置有關(guān)，所以對(duì)于大數(shù)據(jù)的數(shù)據(jù)集，我們提供了Hadoop，偽分布式的儲(chǔ)存機(jī)制，這樣的結(jié)構(gòu)與特點(diǎn)讓我們的數(shù)據(jù)集，可以容納到TB級(jí)以上