更多精彩內容參見：https://liuhuapeng.jiangshi.org

當下，大數據的趨勢已逐步從概念走向落地，而在IT人跟隨大數據浪潮的轉型中，各大企業(yè)對大數據高端人才的需求也越來越緊迫。這一趨勢，也給想要從事大數據方面工作的人員提供了難得的職業(yè)機遇。

從長期實踐總結出大數據主要的三大就業(yè)方向：大數據系統(tǒng)研發(fā)類人才、大數據應用開發(fā)類人才和大數據分析類人才。在此三大方向中，各自的基礎崗位一般為大數據系統(tǒng)研發(fā)工程師、大數據應用開發(fā)工程師和數據分析師。

從企業(yè)方面來說，大數據人才大致可以分為產品和市場分析、安全和風險分析以及商業(yè)智能三大領域。產品分析是指通過算法來測試新產品的有效性，是一個相對較新的領域。在安全和風險分析方面，數據科學家們知道需要收集哪些數據、如何進行快速分析，并最終通過分析信息來有效遏制網絡入侵或抓住網絡罪犯。

一、ETL研發(fā)

隨著數據種類的不斷增加，企業(yè)對數據整合專業(yè)人才的需求越來越旺盛。ETL開發(fā)者與不同的數據來源和組織打交道，從不同的源頭抽取數據，轉換并導入數據倉庫以滿足企業(yè)的需要。

ETL研發(fā)，主要負責將分散的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層后進行清洗、轉換、集成，最后加載到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎。

目前，ETL行業(yè)相對成熟，相關崗位的工作生命周期比較長，通常由內部員工和外包合同商之間通力完成。ETL人才在大數據時代炙手可熱的原因之一是：在企業(yè)大數據應用的早期階段，Hadoop只是窮人的ETL。

二、Hadoop開發(fā)

Hadoop的核心是HDFS和MapReduce.HDFS提供了海量數據的存儲，MapReduce提供了對數據的計算。隨著數據集規(guī)模不斷增大，而傳統(tǒng)BI的數據處理成本過高，企業(yè)對Hadoop及相關的廉價數據處理技術如Hive、HBase、MapReduce、Pig等的需求將持續(xù)增長。如今具備Hadoop框架經驗的技術人員是最搶手的大數據人才。

三、可視化（前端展現）工具開發(fā)

海量數據的分析是個大挑戰(zhàn)，而新型數據可視化工具如Spotifre，Qlikview和Tableau可以直觀高效地展示數據。

可視化開發(fā)就是在可視開發(fā)工具提供的圖形用戶界面上，通過操作界面元素，由可視開發(fā)工具自動生成應用軟件。還可輕松跨越多個資源和層次連接您的所有數據，經過時間考驗，完全可擴展的，功能豐富全面的可視化組件庫為開發(fā)人員提供了功能完整并且簡單易用的組件集合，以用來構建極其豐富的用戶界面。

過去，數據可視化屬于商業(yè)智能開發(fā)者類別，但是隨著Hadoop的崛起，數據可視化已經成了一項獨立的專業(yè)技能和崗位。

四、信息架構開發(fā)

大數據重新激發(fā)了主數據管理的熱潮。充分開發(fā)利用企業(yè)數據并支持決策需要非常專業(yè)的技能。信息架構師必須了解如何定義和存檔關鍵元素，確保以最有效的方式進行數據管理和利用。信息架構師的關鍵技能包括主數據管理、業(yè)務知識和數據建模等。

五、數據倉庫研究

數據倉庫是為企業(yè)所有級別的決策制定過程提供支持的所有類型數據的戰(zhàn)略集合。它是單個數據存儲，出于分析性報告和決策支持的目的而創(chuàng)建。為企業(yè)提供需要業(yè)務智能來指導業(yè)務流程改進和監(jiān)視時間、成本、質量和控制。

數據倉庫的專家熟悉Teradata、Neteeza和Exadata等公司的大數據一體機。能夠在這些一體機上完成數據集成、管理和性能優(yōu)化等工作。

六、OLAP開發(fā)

隨著數據庫技術的發(fā)展和應用，數據庫存儲的數據量從20世紀80年代的兆（M）字節(jié)及千兆（G）字節(jié)過渡到現在的兆兆（T）字節(jié)和千兆兆（P）字節(jié)，同時，用戶的查詢需求也越來越復雜，涉及的已不僅是查詢或操縱一張關系表中的一條或幾條記錄，而且要對多張表中千萬條記錄的數據進行數據分析和信息綜合。聯機分析處理（OLAP）系統(tǒng)就負責解決此類海量數據處理的問題。

OLAP在線聯機分析開發(fā)者，負責將數據從關系型或非關系型數據源中抽取出來建立模型，然后創(chuàng)建數據訪問的用戶界面，提供高性能的預定義查詢功能。

七、數據科學研究

這一職位過去也被稱為數據架構研究，數據科學家是一個全新的工種，能夠將企業(yè)的數據和技術轉化為企業(yè)的商業(yè)價值。隨著數據學的進展，越來越多的實際工作將會直接針對數據進行，這將使人類認識數據，從而認識自然和行為。因此，數據科學家首先應當具備優(yōu)秀的溝通技能，能夠同時將數據分析結果解釋給IT部門和業(yè)務部門領導。

總的來說，數據科學家是分析師、藝術家的合體，需要具備多種交叉科學和商業(yè)技能。

八、數據預測（數據挖掘）分析

營銷部門經常使用預測分析預測用戶行為或鎖定目標用戶。預測分析開發(fā)者有些場景看上有有些類似數據科學家，即在企業(yè)歷史數據的基礎上通過假設來測試閾值并預測未來的表現。

九、企業(yè)數據管理

企業(yè)要提高數據質量必須考慮進行數據管理，并需要為此設立數據管家職位，這一職位的人員需要能夠利用各種技術工具匯集企業(yè)周圍的大量數據，并將數據清洗和規(guī)范化，將數據導入數據倉庫中，成為一個可用的版本。然后，通過報表和分析技術，數據被切片、切塊，并交付給成千上萬的人。擔當數據管家的人，需要保證市場數據的完整性，準確性，唯一性，真實性和不冗余。

十、數據安全研究

數據安全這一職位，主要負責企業(yè)內部大型服務器、存儲、數據安全管理工作，并對網絡、信息安全項目進行規(guī)劃、設計和實施。數據安全研究員還需要具有較強的管理經驗，具備運維管理方面的知識和能力，對企業(yè)傳統(tǒng)業(yè)務有較深刻的理解，才能確保企業(yè)數據安全做到一絲不漏。

更多精彩內容參見：https://liuhuapeng.jiangshi.org