數據科學工程師

Ⅰ 如何成為一名大數據工程師

大數據是眼下非常時髦的技術名詞，與此同時自然也催生出了一些與大數據處理相關的職業，通過對數據的挖掘分析來影響企業的商業決策。

這群人在國外被叫做數據科學家（Data Scientist），這個頭銜最早由D.J.Pati和Jeff Hammerbacher於2008年提出，他們後來分別成為了領英（LinkedIn）和Facebook數據科學團隊的負責人。而數據科學家這個職位目前也已經在美國傳統的電信、零售、金融、製造、物流、醫療、教育等行業里開始創造價值。

不過在國內，大數據的應用才剛剛萌芽，人才市場還不那麼成熟，「你很難期望有一個全才來完成整個鏈條上的所有環節。更多公司會根據自己已有的資源和短板，招聘能和現有團隊互補的人才。」領英（LinkedIn）中國商務分析及戰略總監王昱堯對《第一財經周刊》說。

數據工程師是做什麼的？於是每家公司對大數據工作的要求不盡相同：有的強調資料庫編程、有的突出應用數學和統計學知識、有的則要求有咨詢公司或投行相關的經驗、有些是希望能找到懂得產品和市場的應用型人才。正因為如此，很多公司會針對自己的業務類型和團隊分工，給這群與大數據打交道的人一些新的頭銜和定義：數據挖掘工程師、大數據專家、數據研究員、用戶分析專家等都是經常在國內公司里出現的Title，我們將其統稱為「大數據工程師」。

由於國內的大數據工作還處在一個有待開發的階段，因此能從其中挖掘出多少價值完全取決於工程師的個人能力。已經身處這個行業的專家給出了一些人才需求的大體框架，包括要有計算機編碼能力、數學及統計學相關背景，當然如果能對一些特定領域或行業有比較深入的了解，對於其快速判斷並抓准關鍵因素則更有幫助。

雖然對於一些大公司來說，擁有碩博學歷的公司人是比較好的選擇，不過阿里巴巴集團研究員薛貴榮強調，學歷並不是最主要的因素，能有大規模處理數據的經驗並且有喜歡在數據海洋中尋寶的好奇心會更適合這個工作。

除此之外，一個優秀的大數據工程師要具備一定的邏輯分析能力，並能迅速定位某個商業問題的關鍵屬性和決定因素。「他得知道什麼是相關的，哪個是重要的，使用什麼樣的數據是最有價值的，如何快速找到每個業務最核心的需求。」聯合國網路大數據聯合實驗室數據科學家沈志勇說。學習能力能幫助大數據工程師快速適應不同的項目，並在短時間內成為這個領域的數據專家；溝通能力則能讓他們的工作開展地更順利，因為大數據工程師的工作主要分為兩種方式：由市場部驅動和由數據分析部門驅動，前者需要常常向產品經理了解開發需求，後者則需要找運營部了解數據模型實際轉化的情況。

你可以將以上這些要求看做是成為大數據工程師的努力方向，因為根據萬寶瑞華管理合夥人顏莉萍（Nicole Yan）的觀察，這是一個很大的人才缺口。目前國內的大數據應用多集中在互聯網領域，有超過56%的企業在籌備發展大數據研究，「未來5年，94%的公司都會需要數據科學家。」顏莉萍（Nicole Yan）說。因此她也建議一些原本從事與數據工作相關的公司人可以考慮轉型。

用阿里巴巴集團研究員薛貴榮的話來說，大數據工程師就是一群「玩數據」的人，玩出數據的商業價值，讓數據變成生產力。大數據和傳統數據的最大區別在於，它是在線的、實時的，規模海量且形式不規整，無章法可循，因此「會玩」這些數據的人就很重要。

沈志勇認為如果把大數據想像成一座不停累積的礦山，那麼大數據工程師的工作就是，「第一步，定位並抽取信息所在的數據集，相當於探礦和采礦。第二步，把它變成直接可以做判斷的信息，相當於冶煉。最後是應用，把數據可視化等。」

因此分析歷史、預測未來、優化選擇，這是大數據工程師在「玩數據」時最重要的三大任務。通過這三個工作方向，他們幫助企業做出更好的商業決策。

1.找出過去事件的特徵

大數據工程師一個很重要的工作，就是通過分析數據來找出過去事件的特徵。比如，騰訊的數據團隊正在搭建一個數據倉庫，把公司所有網路平台上數量龐大、不規整的數據信息進行梳理，總結出可供查詢的特徵，來支持公司各類業務對數據的需求，包括廣告投放、游戲開發、社交網路等。

找出過去事件的特徵，最大的作用是可以幫助企業更好地認識消費者。通過分析用戶以往的行為軌跡，就能夠了解這個人，並預測他的行為。「你可以知道他是什麼樣的人、他的年紀、興趣愛好，是不是互聯網付費用戶、喜歡玩什麼類型的游戲，平常喜歡在網上做什麼事情。」騰訊雲計算有限公司北京研發中心總經理鄭立峰對《第一財經周刊》說。下一步到了業務層面，就可以針對各類人群推薦相關服務，比如手游，或是基於不同特徵和需求衍生出新的業務模式，比如微信的電影票業務。

2.預測未來可能發生的事情

通過引入關鍵因素，大數據工程師可以預測未來的消費趨勢。在阿里媽媽的營銷平台上，工程師正試圖通過引入氣象數據來幫助淘寶賣家做生意。「比如今年夏天不熱，很可能某些產品就沒有去年暢銷，除了空調、電扇，背心、游泳衣等都可能會受其影響。那麼我們就會建立氣象數據和銷售數據之間的關系，找到與之相關的品類，提前警示賣家周轉庫存。」薛貴榮說。

在網路，沈志勇支持「網路預測」部分產品的模型研發，試圖用大數據為更廣泛的人群服務。已經上線的包括世界盃預測、高考預測、景點預測等。以網路景點預測為例，大數據工程師需要收集所有可能影響一段時間內景點人流量的關鍵因素進行預測，並為全國各個景點未來的擁擠度分級—在接下來的若干天時間里，它究竟是暢通、擁擠，還是一般擁擠？

3.找出最優化的結果

根據不同企業的業務性質，大數據工程師可以通過數據分析來達到不同的目的。

以騰訊來說，鄭立峰認為能反映大數據工程師工作的最簡單直接的例子就是選項測試（AB Test），即幫助產品經理在A、B兩個備選方案中做出選擇。在過去，決策者只能依據經驗進行判斷，但如今大數據工程師可以通過大范圍地實時測試—比如，在社交網路產品的例子中，讓一半用戶看到A界面，另一半使用B界面，觀察統計一段時間內的點擊率和轉化率，以此幫助市場部做出最終選擇。

作為電商的阿里巴巴，則希望通過大數據鎖定精準的人群，幫助賣家做更好的營銷。「我們更期待的是你能找到這樣一批人，比起現有的用戶，這些人對產品更感興趣。」薛貴榮說。一個淘寶的實例是，某人參賣家原來推廣的目標人群是產婦，但工程師通過挖掘數據之間的關聯性後發現，針對孕婦群體投放的營銷轉化率更高。

需要具備的能力

1.數學及統計學相關的背景

就我們采訪過的BAT三家互聯網大公司來說，對於大數據工程師的要求都是希望是統計學和數學背景的碩士或博士學歷。沈志勇認為，缺乏理論背景的數據工作者，更容易進入一個技能上的危險區域（Danger Zone）—一堆數字，按照不同的數據模型和演算法總能捯飭出一些結果來，但如果你不知道那代表什麼，就並不是真正有意義的結果，並且那樣的結果還容易誤導你。「只有具備一定的理論知識，才能理解模型、復用模型甚至創新模型，來解決實際問題。」沈志勇說。

2.計算機編碼能力

實際開發能力和大規模的數據處理能力是作為大數據工程師的一些必備要素。「因為許多數據的價值來自於挖掘的過程，你必須親自動手才能發現金子的價值。」鄭立峰說。

舉例來說，現在人們在社交網路上所產生的許多記錄都是非結構化的數據，如何從這些毫無頭緒的文字、語音、圖像甚至視頻中攫取有意義的信息就需要大數據工程師親自挖掘。即使在某些團隊中，大數據工程師的職責以商業分析為主，但也要熟悉計算機處理大數據的方式。

3.對特定應用領域或行業的知識

在顏莉萍（Nicole Yan）看來，大數據工程師這個角色很重要的一點是，不能脫離市場，因為大數據只有和特定領域的應用結合起來才能產生價值。所以，在某個或多個垂直行業的經歷能為應聘者積累對行業的認知，對於之後成為大數據工程師有很大幫助，因此這也是應聘這個崗位時較有說服力的加分項。

「他不能只是懂得數據，還要有商業頭腦，不論對零售、醫葯、游戲還是旅遊等行業，能就其中某些領域有一定的理解，最好還是與公司的業務方向一致的，」就此薛貴榮還打了個比方，「過去我們說一些奢侈品店員勢利，看人一眼就知道買得起買不起，但這群人恰恰是有敏銳度的，我們認為他們是這個行業的專家。又比如對醫療行業了解的人，他在考慮醫療保險業務時，不僅會和人們醫院看病的記錄相關，也會考慮飲食數據，這些都是基於對該領域的了解。」

職業發展1.如何成為大數據工程師

由於目前大數據人才匱乏，對於公司來說，很難招聘到合適的人才—既要有高學歷，同時最好還有大規模數據處理經驗。因此很多企業會通過內部挖掘。

2014年8月，阿里巴巴舉辦了一個大數據競賽，把天貓平台上的數據拿出來，去除敏感問題後，放到雲計算平台上交予7000多支隊伍進行比賽，比賽分為內部賽和外部賽。「通過這個方式來激勵內部員工，同時也發現外部人才，讓各行業的大數據工程師涌現出來。」

顏莉萍（Nicole Yan）建議，目前長期從事資料庫管理、挖掘、編程工作的人，包括傳統的量化分析師、Hadoop方面的工程師，以及任何在工作中需要通過數據來進行判斷決策的管理者，比如某些領域的運營經理等，都可以嘗試該職位，而各個領域的達人只要學會運用數據，也可以成為大數據工程師。

2.薪酬待遇

作為IT類職業中的「大熊貓」，大數據工程師的收入待遇可以說達到了同類的頂級。根據顏莉萍（Nicole Yan）的觀察，國內IT、通訊、行業招聘中，有10%都是和大數據相關的，且比例還在上升。顏莉萍（Nicole Yan）表示，「大數據時代的到來很突然，在國內發展勢頭激進，而人才卻非常有限，現在完全是供不應求的狀況。」在美國，大數據工程師平均每年薪酬高達17.5萬美元，而據了解，在國內頂尖互聯網類公司，同一個級別大數據工程師的薪酬可能要比其他職位高20%至30%，且頗受企業重視。

3.職業發展路徑

由於大數據人才數量較少，因此大多數公司的數據部門一般都是扁平化的層級模式，大致分為數據分析師、資深研究員、部門總監3個級別。大公司可能按照應用領域的維度來劃分不同團隊，而在小公司則需要身兼數職。有些特別強調大數據戰略的互聯網公司則會另設最高職位—如阿里巴巴的首席數據官。「這個職位的大部分人會往研究方向發展，成為重要數據戰略人才。」顏莉萍（Nicole Yan）說。另一方面，大數據工程師對商業和產品的理解，並不亞於業務部門員工，因此也可轉向產品部或市場部，乃至上升為公司的高級管理層。

Ⅱ 數據分析工程師的工資一般是多少

在大數據工程師前景的道路上，你是選擇永遠呆著數據分析助理或初級數據分析師領域，還是向上走，走到高級數據分析師、資深數據分析師，甚至是數據科學家、數據分析專家的級別，這一切都看你自己的努力和選擇。

Ⅲ 如何區分理解數據科學家與機器學習工程師

機器學習方面的面試主要分成三個部分： 1. 演算法和理論基礎 2. 工程實現能力與編碼水平 3. 業務理解和思考深度 1. 理論方面，我推薦最經典的一本書《統計學習方法》，這書可能不是最全的，但是講得最精髓，薄薄一本

Ⅳ 數據科學與大數據技術專業怎麼樣學成之後可以從事的職業有哪些

隨著電子技術和信息科學的發展，近兩年每個網民都有機會在社交媒體發出自己的聲音，留下海量的信息。人類生產信息的速度可謂風馳電掣，每兩年就會增長一倍，近兩年產生的數據總量相當於人類有史以來所有數據量的總和。科研領域、企業運營及日常生活中的數字、文字、圖像、音頻都是數據，大數據的處理速度快、價值密度低、商業價值高。擁有海量數據的國家或企業如果能合理地解釋運用這些數據，就會增強自身的競爭力。大數據專業就在這樣的背景下應運而生，很多學校看到該領域的前景，競相申請設立數據科學與大數據技術專業。今天小編將帶你深入了解數據科學與大數據技術專業。

扎實的數學功底

由課程設置可以看出本專業對學生的數學基礎有一定要求，通識課部分就設置了三門數學課，學科基礎課依然有離散數學，數字邏輯與數學系統。建議想報考的同學提前觀看一些入門課程，客觀評估自己的數學能力。盲目報考無益於個人發展，會造成掛科過多、學習壓力過大、就業困難等不良後果。

有耐心有毅力

大數據專業和計算機專業比較像，是注重實踐的專業。學生需要獨立編寫程序，對程序進行修改與調試，需要注意每一個細節才能順利查錯並運行程序。有耐心有毅力的學生顯然更能坐的住，心浮氣躁的學生則需要一番磨練才能成功。

自主學習能力強

一般情況下，大數據專業無法向學生傳授大數據核心技術之外的知識技能，如果學生需要進入全新領域去實習就業，就必須要迅速掌握新領域的相關知識。假如學生到金融行業從事數據挖掘工作，就必須對金融產品及用戶有所了解。

工作

畢業生就業主要集中在一線城市，畢業於985院校的畢業生常常被各大企業一搶而空，就業行業以互聯網、金融、通信、教育、文化娛樂、電子商務等行業為主。薪資待遇令人羨慕，即使是剛畢業的學生，平均月薪就在12000-15000之間，工作3-5年比較有經驗的人可以拿到20-35k的月薪。

考研

主要方向有：計算機科學與技術、計算機系統結構、計算機軟體與理論、計算機應用技術、科學與信息技術（清華、北大、復旦、北京航空航天大學等少數學校開設）。

留學

該專業留學首推美國。國外的大學設置了數據科學專業，數據科學就是從數據中提取信息知識，是數據挖掘與預測分析的延伸，亦是發掘知識與數據的過程。所以，數據科學專業不僅包含了大數據也包含了數據分析。推薦學校有：哥倫比亞大學、加州大學伯克利分校、斯坦福大學、麻省理工學院、卡耐基梅隆大學等。

Ⅳ 數據科學家與數據分析師，數據工程師到底有何差別

近些年，互聯網公司對數據分析師崗位的需求越來越多，這不是偶然。
過去十多年，中國互聯網行業靠著人口紅利和流量紅利野蠻生長；而隨著流量獲取成本不斷提高、運營效率的不斷下降，這種粗放的經營模式已經不再可行。互聯網企業迫切需要通過數據分析來實現精細化運營，降低成本、提高效率；而這對數據分析師也提出了更高的要求。
本文將和大家分享數據分析師的演變、數據分析價值體系、數據分析師必備的四大能力、七大常用思路以及實戰分析案例。
一、數據分析師的前世今生
在介紹數據分析師之前，我們先來看一下這幾個歷史人物，看看他們都跟數據分析師有著怎樣的淵源？

歷史上大名鼎鼎的「分析師」
上面展示的六個歷史人物（從左往右，從上往下）分別是：張良、管仲、蕭何、孫斌、鬼穀子和諸葛亮。他們是歷史上大名鼎鼎的謀士，有的還做過丞相。他們博覽群書、眼光獨到，通過對大量史實進行總結發現了很多規律，並且在實踐中成功預測了很多事件。他們通過 「歷史統計——總結分析——預測未來」的實踐為自己的組織創造了絕大的價值，而這就是「數據分析師」的前身。
那麼現在，數據分析師需要哪些必備技能，如何成為一名優秀的數據分析師呢？
二、數據分析師的價值金字塔
一個完整的企業數據分析體系涉及到多個環節：採集、清理、轉化、存儲、可視化、分析決策等等。其中，不同環節工作內容不一樣，消耗的時間和產生的價值也相差甚遠。

數據分析價值金字塔
互聯網企業數據分析體系中至少有三方面的數據：用戶行為數據、交易訂單數據和CRM數據。工程師把不同來源的數據採集好，然後通過清理、轉化等環節統一到數據平台上；再由專門的數據工程師從數據平台上提出數據。這些工作佔用了整個環節90%的時間，然而產生的價值卻只佔10%。
這個金字塔再往上數據分析就和業務實際緊密結合，以報表、可視化等方式支持企業的業務決策，涵蓋產品、運營、市場、銷售、客戶支持各個一線部門。這個部分佔用了整個環節才10%的時間，但是卻能產生90%的價值。
一個優秀的商務數據分析師應該以價值為導向，緊密結合產品、運營、銷售、客戶支持等實踐，支持各條業務線發現問題、解決問題並創造更多的價值。
三、數據分析師必備的四大能力

數據分析師必備的四大技能
1.全局觀
某日，產品經理跑過來問我：Hi，能不能幫我看一下昨天產品新功能發送的數據？謝謝！條件反射我會說：好，我馬上給你！不過我還是禮貌性地問了一句：為什麼需要這數據呢？產品經理回復道：哦，昨天新功能上線了，我想看看效果。知道了產品經理的目的，我就可以針對性地進行數據提取和分析，分析的結果和建議也就更加具有可操作性。
很多時候，數據分析師不能就數說數，陷入各種報表中不能自拔。一個優秀的數據分析師應該具有全局觀，碰到分析需求的時候退一步多問個為什麼，更好地了解問題背景和分析目標。
2.專業度
某企業的數據科學家針對用戶流失情形進行建模預測，最終得到的用戶流失模型預測准確率高達90%多。准確率如此之高，讓商務分析師都不敢相信。經過檢驗，發現數據科學家的模型中有一個自變數是 「用戶是否點擊取消按鈕」 。而點擊了「取消」按鈕是用戶流失的重要徵兆，做過這個動作的用戶基本上都會流失，用這個自變數來預測流失沒有任何業務意義和可操作性。
數據分析師要在所在行業（例如電商、O2O、社交、媒體、SaaS、互金等等）展示她/他的專業度，熟悉自己行業的業務流程和數據背後的意義，避免上面的數據笑話。
3.想像力
商業環境的變化越來越快、越來越復雜，一組商業數據的背後涉及到的影響因素是常人難以想像的。數據分析師應該在工作經驗的基礎上發揮想像力，大膽創新和假設。
4.信任度
以銷售崗位為例，一個銷售人員首先要和用戶建立起信任；如果用戶不信任你的話，那他也很難信任或者購買你的產品。同理，數據分析師要和各部門同事建立良好的人際關系，形成一定的信任。各個部門的同事信任你了，他們才可能更容易接受你的分析結論和建議；否則事倍功半。
四、數據分析常見的七種思路
1.簡單趨勢
通過實時訪問趨勢了解產品使用情況，便於產品迅速迭代。訪問用戶量、訪問來源、訪問用戶行為三大指標對於趨勢分析具有重要意義。

分鍾級別的實時走勢

以星期為周期的趨勢對比
2.多維分解
數據分析師可以根據分析需要，從多維度對指標進行分解。例如瀏覽器類型、操作系統類型、訪問來源、廣告來源、地區、網站/手機應用、設備品牌、APP版本等等維度。

多維度分析訪問用戶的屬性
3.轉化漏斗
按照已知的轉化路徑，藉助漏斗模型分析總體和每一步的轉化情況。常見的轉化情境有注冊轉化分析、購買轉化分析等。

漏斗分析展示注冊每一步的流失率
4.用戶分群
在精細化分析中，常常需要對有某個特定行為的用戶群組進行分析和比對；數據分析師需要將多維度和多指標作為分群條件，有針對性地優化產品，提升用戶體驗。
5.細查路徑
數據分析師可以觀察用戶的行為軌跡，探索用戶與產品的交互過程；進而從中發現問題、激發靈感亦或驗證假設。

通過細查路徑分析用戶的行為規律
6.留存分析
留存分析是探索用戶行為與回訪之間的關聯。一般我們講的留存率，是指「新增用戶」在一段時間內「回訪網站/app」的比例。 數據分析師通過分析不同用戶群組的留存差異、使用過不同功能用戶的留存差異來找到產品的增長點。

留存分析發現「創建圖表」的用戶留存度更高
7.A/B 測試
A/B測試就是同時進行多個方案並行測試，但是每個方案僅有一個變數不同；然後以某種規則（例如用戶體驗、數據指標等）優勝略汰選擇最優的方案。數據分析師需要在這個過程中選擇合理的分組樣本、監測數據指標、事後數據分析和不同方案評估。
五、數據分析實戰案例
某社交平台推出付費高級功能，並且以EDM（Email Direct Marketing，電子郵件營銷）的形式向目標用戶推送，用戶可以直接點擊郵件中的鏈接完成注冊。該渠道的注冊轉化率一直在10%-20%之間；但是8月下旬開始注冊轉化率急劇下降，甚至不到5%。
如果你是該公司的數據分析師，你會如何分析這個問題呢？換言之，哪些因素可能造成EDM轉化率驟降？
一個優秀的數據分析師應該具有全局觀和專業度，從業務實際出發，綜合各個方面的可能性。因此，EDM注冊轉化率驟降的可能性羅列如下：
1.技術原因：ETL延遲或者故障，造成前端注冊數據缺失，注冊轉化率急劇下降；
2.外部因素：該時間節點是否有節假日，其他部門近期是否有向用戶發送推廣郵件，這些因素可能稀釋用戶的注意力；
3.內部因素：郵件的文案、設計是否有改變；郵件的到達率、打開率、點擊率是否正常；郵件的注冊流是否順暢。
經過逐一排查，數據分析師將原因鎖定在注冊流程上：產品經理在注冊環節添加了綁定信用卡的內容，導致用戶的注冊提交意願大幅度下降，轉化率暴跌。
一個看似簡單的轉化率分析問題，它的背後是數據分析師各方面能力的體現。首先是技術層面，對ETL（數據抽取－轉換－載入）的理解和認識；其實是全局觀，對季節性、公司等層面的業務有清晰的了解；最後是專業度，對EDM業務的流程、設計等了如指掌。
練就數據分析的洪荒之力並非一朝一夕之功，而是在實踐中不斷成長和升華。一個優秀的數據分析師應該以價值為導向，放眼全局、立足業務、與人為善，用數據來驅動增長。

Ⅵ 如何區分數據科學家，數據工程師與數據分析師

科學家是個籠統的稱呼，偏向於基礎科學研究。數據工程師是工科人員，寫代碼的，就是程序猿。數據分析師是商科的

Ⅶ 大數據工程師好做嗎

大數據是眼下非常時髦的技術名詞，與此同時自然也催生出了一些與大數據處理相關的職業，通過對數據的挖掘分析來影響企業的商業決策。
不過在國內，大數據的應用才剛剛萌芽，人才市場還不那麼成熟，「你很難期望有一個全才來完成整個鏈條上的所有環節。更多公司會根據自己已有的資源和短板，招聘能和現有團隊互補的人才。
於是每家公司對大數據工作的要求不盡相同：有的強調資料庫編程、有的突出應用數學和統計學知識、有的則要求有咨詢公司或投行相關的經驗、有些是希望能找到懂得產品和市場的應用型人才。正因為如此，很多公司會針對自己的業務類型和團隊分工，給這群與大數據打交道的人一些新的頭銜和定義：數據挖掘工程師、大數據專家、數據研究員、用戶分析專家等都是經常在國內公司里出現的Title，我們將其統稱為「大數據工程師」。
一個優秀的大數據工程師要具備一定的邏輯分析能力，並能迅速定位某個商業問題的關鍵屬性和決定因素。「他得知道什麼是相關的，哪個是重要的，使用什麼樣的數據是最有價值的，如何快速找到每個業務最核心的需求。」聯合國網路大數據聯合實驗室數據科學家沈志勇說。學習能力能幫助大數據工程師快速適應不同的項目，並在短時間內成為這個領域的數據專家；溝通能力則能讓他們的工作開展地更順利，因為大數據工程師的工作主要分為兩種方式：由市場部驅動和由數據分析部門驅動，前者需要常常向產品經理了解開發需求，後者則需要找運營部了解數據模型實際轉化的情況。
你可以將以上這些要求看做是成為大數據工程師的努力方向，這是一個很大的人才缺口。目前國內的大數據應用多集中在互聯網領域，有超過56%的企業在籌備發展大數據研究，未來5年，94%的公司都會需要數據科學家。因此也建議一些原本從事與數據工作相關的公司人可以考慮轉型。
大數據工程師就是一群「玩數據」的人，玩出數據的商業價值，讓數據變成生產力。大數據和傳統數據的最大區別在於，它是在線的、實時的，規模海量且形式不規整，無章法可循，因此「會玩」這些數據的人就很重要。
因此分析歷史、預測未來、優化選擇，這是大數據工程師在「玩數據」時最重要的三大任務。通過這三個工作方向，他們幫助企業做出更好的商業決策。
如何成為大數據工程師
由於目前大數據人才匱乏，對於公司來說，很難招聘到合適的人才—既要有高學歷，同時最好還有大規模數據處理經驗。因此很多企業會通過內部挖掘。
目前長期從事資料庫管理、挖掘、編程工作的人，包括傳統的量化分析師、Hadoop方面的工程師，以及任何在工作中需要通過數據來進行判斷決策的管理者，比如某些領域的運營經理等，都可以嘗試該職位，而各個領域的達人只要學會運用數據，也可以成為大數據工程師。
薪酬待遇
作為IT類職業中的「大熊貓」，大數據工程師的收入待遇可以說達到了同類的頂級。根據顏莉萍的觀察，國內IT、通訊、行業招聘中，有10％都是和大數據相關的，且比例還在上升。大數據時代的到來很突然，在國內發展勢頭激進，而人才卻非常有限，現在完全是供不應求的狀況。在美國，大數據工程師平均每年薪酬高達17.5萬美元，而據了解，在國內頂尖互聯網類公司，同一個級別大數據工程師的薪酬可能要比其他職位高20％至30％，且頗受企業重視。
職業發展路徑
由於大數據人才數量較少，因此大多數公司的數據部門一般都是扁平化的層級模式，大致分為數據分析師、資深研究員、部門總監3個級別。大公司可能按照應用領域的維度來劃分不同團隊，而在小公司則需要身兼數職。有些特別強調大數據戰略的互聯網公司則會另設最高職位—如阿里巴巴的首席數據官。這個職位的大部分人會往研究方向發展，成為重要數據戰略人才。。另一方面，大數據工程師對商業和產品的理解，並不亞於業務部門員工，因此也可轉向產品部或市場部，乃至上升為公司的高級管理層。

Ⅷ 數據科學家 機器學習工程師與普通的軟體工程師有什麼不同

首先數據有沒有科學家不知道，機器學習工程師，是機戒上的東西，軟體是IT行業不可比較