想要成為一名合格的全棧大數(shù)據開發(fā)工程師，需要知道大數(shù)據的整個生態(tài)圈，需要知道每一個組件的使用場景及使用方法，同時還需要對每一個組件有更深入的理解。以下是小編為你整理的大數(shù)據要學什么 ?
HDFS(Hadoop分布式文件系統(tǒng)) ?
源自于Google的GFS論文，發(fā)表于2003年10月，HDFS是GFS克隆版。 ?
HDFS是Hadoop體系中數(shù)據存儲管理的基礎。它是一個高度容錯的系統(tǒng)，能檢測和應對硬件故障，用于在低成本的通用硬件上運行。
HDFS簡化了文件的一致性模型，通過流式數(shù)據訪問，提供高吞吐量應用程序數(shù)據訪問功能，適合帶有大型數(shù)據集的應用程序。 ?
它提供了一次寫入多次讀取的機制，數(shù)據以塊的形式，同時分布在集群不同物理機器上。 ?
Mapreduce(分布式計算框架) ?
源自于google的MapReduce論文，發(fā)表于2004年12月，Hadoop MapReduce是google MapReduce 克隆版。 ?
MapReduce是一種分布式計算模型，用以進行大數(shù)據量的計算。它屏蔽了分布式計算框架細節(jié)，將計算抽象成map和reduce兩部分， ?
其中Map對數(shù)據集上的獨立元素進行指定的操作，生成鍵-值對形式中間結果。Reduce則對中間結果中相同“鍵”的所有“值”進行規(guī)約，以得到最終結果。 ?
MapReduce非常適合在大量計算機組成的分布式并行環(huán)境里進行數(shù)據處理。 ?
什么是數(shù)據挖掘 ?
是知識發(fā)現(xiàn)、商業(yè)智能、預測分析還是預測建模。其實都可以歸為一類：數(shù)據挖掘是一項探測大量數(shù)據以發(fā)現(xiàn)有意義的模式(pattern)和規(guī)則(rule)的業(yè)務流程。 ?
數(shù)據挖掘成功的關鍵是把其結合到業(yè)務流程中，并能夠促進數(shù)據挖掘人員和使用結果的業(yè)務用戶之間的通信。首先，必須明確，找到合適的業(yè)務需求，很多的人員，沒有在意這一點，導致解決的是對業(yè)務沒有幫助的問題。 ?
模型集中的每個變量都有一個與它相關的時間幀，它描述了該變量產生作用的時間段?？梢岳斫鉃閷υ谶^去一段時間的數(shù)據的整合，超過這個時間的數(shù)據就作廢。 ?
很多數(shù)據挖掘問題都可以概括為預測問題：基于過去的響應，基于過去的相應，誰將會有相應?基于過去的注銷記錄，誰有一個不良風險?解決問題*的辦法是限定輸入變量嚴格產生于目標變臉之前。 ?
剖析，從字面上的理解是，基于人口統(tǒng)計變量，例如：地理位置、性別和年齡等。剖析模型能發(fā)現(xiàn)同一條件下的關系，但他們不能指出原因和影響。出于這個原因，剖析模型經常使用客戶的人口統(tǒng)計信息作為輸入，而把客戶行為作為目標，在這種情況下，確定原因和影響更直觀。 ?
數(shù)據的收集方式有很多方法 ?
可以根據人們上網主要瀏覽的網頁，或者主要搜索的關鍵字，看出來到底人們對什么東西感興趣，也可以根據人們在社交軟件上面的聊天記錄來收集有用的信息，還可以通過讓別人做網頁上面的答卷來收集信息，知道人們對于一種東西的看法和態(tài)度。 ?
這些收集起來的數(shù)據就會全部都儲藏在一起，然后有用的時候就會用特殊的軟件來分析處理這些數(shù)據，*有*的數(shù)據，很多的公司也有自己的數(shù)據庫，一個公司的數(shù)據庫越大就代表了這個公司的實力越強，未來發(fā)展的可能性也就越大越好。
?
當然這些數(shù)據最主要的并不是大，而是有用的信息比較多，這樣分析出來的結果也就越準確，這些數(shù)據可以準確的反映現(xiàn)在社會上面發(fā)生的事情和現(xiàn)在人們的心理狀態(tài)，可以預測到很多事情的未來的發(fā)展方向，有的公司可以根據這些數(shù)據發(fā)現(xiàn)自己的不足和管理漏洞，及時的改變和處理，延長企業(yè)的壽命，增加企業(yè)的資產和競爭能力。 ?
通過數(shù)據，也可以知道現(xiàn)在社會上面主流的東西是什么，只有抓住主流的社會，才能跟上時代的步伐，順應歷史的潮流，抓住機遇，發(fā)展自己的公司和事業(yè)。 ?
大數(shù)據就是一個公司的軟實力，就好像是一個無形的資產，蘊含著很多的機會和信息，但是這些數(shù)據一定要好好的利用，不要用這些數(shù)據去做一些違背道德和違背法律的事情，否則一定要承擔法律的責任。 ?
大數(shù)據需要特殊的技術 ?
以有效地處理大量的容忍經過時間內的數(shù)據。適用于大數(shù)據的技術，包括大規(guī)模并行處理(MPP)數(shù)據庫、數(shù)據挖掘電網、分布式文件系統(tǒng)、分布式數(shù)據庫、云計算平臺、互聯(lián)網和可擴展的存儲系統(tǒng)。 ?
大數(shù)據的特點。數(shù)據量大、數(shù)據種類多、 要求實時性強、數(shù)據所蘊藏的價值大。在各行各業(yè)均存在大數(shù)據，但是眾多的信息和咨詢是紛繁復雜的，我們需要搜索、處理、分析、歸納、總結其深層次的規(guī)律。 ?
雖然大數(shù)據的擁護者看到了使用大數(shù)據的巨大潛力，但也有隱私倡導者擔心，因為越來越多的人開始收集相關數(shù)據，無論是他們是否會故意透露這些數(shù)據或通過社交媒體張貼，甚至他們在不知不覺中通過分享自己的生活而公布了一些具體的數(shù)字細節(jié)。 ?
分析這些巨大的數(shù)據集會使我們的預測能力產生虛假的信息，將導致作出許多重大和有害的錯誤決定。此外，數(shù)據被強大的人或機構濫用，自私的操縱議程達到他們想要的結果。 ?
