數據科學建模

A. 數據科學專業就業方向

數據科學與大數據技術專業學生畢業生能在政府機構、企業、公司等從事大數據管理、研究、應用開發等方面的工作。同時可以考取軟體工程、計算機科學與技術、應用統計學等專業的研究生或出國深造。就業方向很多，薪資待遇也非常不錯。



1數據科學與大數據技術專業具體就業方向
1.大數據系統架構師

大數據平台搭建、系統設計、基礎設施。

2.大數據系統分析師

面向實際行業領域，利用大數據技術進行數據安全生命周期管理、分析和應用。

3.hadoop開發工程師。

解決大數據存儲問題。

4.數據分析師

不同行業中，專門從事行業數據搜集、整理、分析，並依據數據做出行業研究、評估和預測的專業人員。在工作中通過運用工具，提取、分析、呈現數據，實現數據的商業意義。

作為一名數據分析師，至少需要熟練SPSS、STATISTIC、Eviews、SAS、大數據魔鏡等數據分析軟體中的一門，至少能用Acess等進行資料庫開發，至少掌握一門數學軟體如matalab、mathmatics進行新模型的構建，至少掌握一門編程語言。總之，一個優秀的數據分析師，應該業務、管理、分析、工具、設計都不落下。

2數據科學與大數據技術專業簡介
數據科學與大數據技術專業以統計學、數學、計算機為三大支撐性學科;生物、醫學、環境科學、經濟學、社會學、管理學為應用拓展性學科。此外還需學習數據採集、分析、處理軟體,學習數學建模軟體及計算機編程語言等,知識結構是二專多能復合的跨界人才(有專業知識、有數據思維)。

不同院校開設此專業,培養模式會有差異。有些會更多偏向於工具的使用,如數據清洗、數據存儲以及數據可視化等相關工具的使用;有些會傾向於大數據相關基礎知識全面覆蓋性教學,在研究生段則會專攻某一技術領域,比如數據挖掘、數據分析、商業智能、人工智慧等。

B. 數據科學都要學什麼內容

大致需要四方面的能力： 1，數學能力。因為需要構建很多復雜的模型，裡面涉及很多演算法版，需要雄厚的數學權基礎。 2，統計能力。得出模型結果後，通常需要統計基礎結合實際的業務情況來解讀結果。 3，編程能力。大部分軟體都需要自己建模編程，因此編程時一種表達自己構建模型的基礎。 4，業務分析能力。能夠對於實際情況進行有效的解讀，才可以轉化為數學統計語言。

C. 對數據科學家來說最重要的演算法和統計模型

對數據科學家來說最重要的演算法和統計模型
作為一個在這個行業已經好幾年的數據科學家，在LinkedIn和QuoLa上，我經常接觸一些學生或者想轉行的人，幫助他們進行機器學習的職業建議或指導方面相關的課程選擇。一些問題圍繞教育途徑和程序的選擇，但許多問題的焦點是今天在數據科學領域什麼樣的演算法或模型是常見的。
由於可供選擇的演算法太多了，很難知道從哪裡開始學起。課程可能包括在當今工業中使用的不是很典型的演算法，而課程可能沒有包含目前不是很流行的但特別有用的方法。基於軟體的程序可以排除重要的統計概念，並且基於數學的程序可以跳過演算法設計中的一些關鍵主題。

我為一些有追求的數據專家整理了一個簡短的指南，特別是關注統計模型和機器學習模型(有監督學習和無監督學習);這些主題包括教科書、畢業生水平的統計學課程、數據科學訓練營和其它培訓資源。(其中有些包含在文章的參考部分)。由於機器學習是統計學的一個分支，機器學習演算法在技術上歸類於統計學知識，還有數據挖掘和更多的基於計算機科學的方法。然而，由於一些演算法與計算機科學課程的內容相重疊，並且因為許多人把傳統的統計方法從新方法中分離出來，所以我將把列表中的兩個分支也分開了。

統計學的方法包括在bootcamps和證書程序中概述的一些更常見的方法，還有一些通常在研究生統計學程序中所教授的不太常見的方法(但在實踐中可以有很大的優勢)。所有建議的工具都是我經常使用的工具:
1)廣義線性模型，它構成了大多數監督機器學習方法的基礎(包括邏輯回歸和Tweedie回歸，它概括了在工業中遇到的大多數計數或連續結果……)
2) 時間序列方法(ARIMA, SSA, 基於機器學習的方法)
3) 結構方程建模 (模擬和測試介導途徑)
4) 因子分析法(調查設計與驗證的探索和驗證)
5) 功率分析/試驗設計 (特別是基於模擬的試驗設計，以免分析過度)
6) 非參數檢驗(從零開始的推導, 尤其通過模擬)/MCMC
7) K均值聚類
8) 貝葉斯方法(Na?ve Bayes, 貝葉斯模型求平均值, 貝葉斯自適應試驗...)
9) 懲罰回歸模型 (elastic net, LASSO, LARS...) ，通常給模型增加懲罰因素(SVM, XGBoost...), 這對於預測值超過觀測值的數據集是有用的(常見於基因組學與社會科學研究)
10) 樣條模型(MARS...) 用於靈活性建模過程
11)馬爾可夫鏈和隨機過程 (時間序列建模與預測建模的另一種方法)
12)缺失數據填補方案及其假設(missForest, MICE...)
13) 生存分析(非常有助於製造建模和消耗過程)
14) 混合建模
15) 統計推斷與分組測試(A/B測試和在許多交易活動中實施更復雜的設計)
機器學習擴展了許多這樣框架，特別是K均值聚類和廣義線性建模。在許多行業中一些有用的常見技術(還有一些更模糊的演算法，在bootcamps或證書程序中出人意料的有用，但學校里很少教) 包括:
1)回歸/分類樹(用於高精度、可解釋性好、計算費用低的廣義線性模型的早期推廣)
2)維數約簡(PCA和多樣學習方法如MDS和tSNE)
3)經典前饋神經網路
4)裝袋組合(構成了隨機森林和KNN回歸整合等演算法的基礎)
7)加速整合(這是梯度提升和XGBoost演算法的基礎)
8)參數優化或設計項目的優化演算法(遺傳演算法，量子啟發進化演算法，模擬鍛煉，粒子群優化)
9)拓撲數據分析工具，特別適合於小樣本大小的無監督學習(持久同調, Morse-Smale聚類, Mapper...)
10)深度學習架構(一般的深度架構)
11) KNN局部建模方法(回歸, 分類)
12)基於梯度的優化方法
13)網路度量與演算法(中央度量法、中間性、多樣性、熵、拉普拉斯運算元、流行病擴散、譜聚類)
14)深度體系架構中的卷積和匯聚層(專門適用於計算機視覺和圖像分類模型)
15)層次聚類 (聚類和拓撲數據分析工具相關)
16)貝葉斯網路(路徑挖掘)
17)復雜性與動態系統(與微分方程有關，但通常用於模擬沒有已知驅動程序的系統)
依靠所選擇的行業，可能需要與自然語言處理(NLP)或計算機視覺相關的附加演算法。然而，這些是數據科學和機器學習的專門領域，進入這些領域的人通常已經是那個特定領域的專家。

D. 大數據的數據科學與關鍵技術是什麼

對於大數據想必大家都有所了解了吧？隨著信息化的不斷發展，大數據也越來越被人們所熟知。我們都知道，現在很多行業都離不開數據分析，在數據分析中我們有聽說了大數據，大數據涉及到了很多的行業，一般來說，大數據涉及到了金融、交通、醫療、安全、社交、電信等等。由此可見，大數據面向的方向有很多，面向的范圍很廣。我們可以把大數據比喻成一個大容器，很多的東西都能夠裝在這個大容器中，但是大數據都是有一些技術組成的，那麼大數據的數據科學和關鍵技術都是什麼呢？在這篇文章我們就給大家解答一下這個問題。
通常來說，大數據的數據採集是通過感測器、智能終端設備、數據儲存這三個方面組成，而通過感測器的大數據離不開物聯網，通過智能終端的大數據離不開互聯網，而數據的海量儲存離不開雲計算，最重要的就是大數據的計算分析採用機器學習，大數據的互動展示離不開可視化，所以我們需要知道大數據的數據科學和關鍵技術，只有這樣我們才能夠用好大數據。
首先我們來說說數據科學，數據科學可以理解為一個跨多學科領域的，從數據中獲取知識的科學方法，技術和系統集合，其目標是從數據中提取出有價值的信息，它結合了諸多領域中的理論和技術，包括應用數學，統計，模式識別，機器學習，人工智慧，深度學習，數據可視化，數據挖掘，數據倉庫，以及高性能計算等。很多的領域都是離不開數據科學的。
那麼數據科學的過程是什麼呢？一般來說，數據科學的過程就是有原始數據採集，數據預處理和清洗，數據探索式分析，數據計算建模，數據可視化和報表，數據產品和決策支持等內容，而傳統信息化技術多是在結構化和小規模數據上進行計算處理，大數據時代呢，數據變大了，數據多源異構了，需要智能預測和分析支持了，所以核心技術離不開機器學習、數據挖掘、人工智慧等，另外還需考慮海量數據的分布式存儲管理和機器學習演算法並行處理，所以數據的大規模增長客觀上促進了數據科學技術生態的繁榮與發展，包括大數據採集、數據預處理、分布式存儲、MySQL資料庫、多模式計算、多模態計算、數據倉庫、數據挖掘、機器學習、人工智慧、深度學習、並行計算、可視化等各種技術范疇和不同的層面。由此可見大數據是一門極度專業性的學科。
在這篇文章中我們給大家介紹了數據科學的關鍵技術的實際內容，大數據的數據科學的關鍵技術有很多，我們需要學習很多的知識，這樣我們才能夠觸類旁通，讓大數據更好地為我們服務。

E. 數據科學家與數據分析師，數據工程師到底有何差別

近些年，互聯網公司對數據分析師崗位的需求越來越多，這不是偶然。
過去十多年，中國互聯網行業靠著人口紅利和流量紅利野蠻生長；而隨著流量獲取成本不斷提高、運營效率的不斷下降，這種粗放的經營模式已經不再可行。互聯網企業迫切需要通過數據分析來實現精細化運營，降低成本、提高效率；而這對數據分析師也提出了更高的要求。
本文將和大家分享數據分析師的演變、數據分析價值體系、數據分析師必備的四大能力、七大常用思路以及實戰分析案例。
一、數據分析師的前世今生
在介紹數據分析師之前，我們先來看一下這幾個歷史人物，看看他們都跟數據分析師有著怎樣的淵源？

歷史上大名鼎鼎的「分析師」
上面展示的六個歷史人物（從左往右，從上往下）分別是：張良、管仲、蕭何、孫斌、鬼穀子和諸葛亮。他們是歷史上大名鼎鼎的謀士，有的還做過丞相。他們博覽群書、眼光獨到，通過對大量史實進行總結發現了很多規律，並且在實踐中成功預測了很多事件。他們通過 「歷史統計——總結分析——預測未來」的實踐為自己的組織創造了絕大的價值，而這就是「數據分析師」的前身。
那麼現在，數據分析師需要哪些必備技能，如何成為一名優秀的數據分析師呢？
二、數據分析師的價值金字塔
一個完整的企業數據分析體系涉及到多個環節：採集、清理、轉化、存儲、可視化、分析決策等等。其中，不同環節工作內容不一樣，消耗的時間和產生的價值也相差甚遠。

數據分析價值金字塔
互聯網企業數據分析體系中至少有三方面的數據：用戶行為數據、交易訂單數據和CRM數據。工程師把不同來源的數據採集好，然後通過清理、轉化等環節統一到數據平台上；再由專門的數據工程師從數據平台上提出數據。這些工作佔用了整個環節90%的時間，然而產生的價值卻只佔10%。
這個金字塔再往上數據分析就和業務實際緊密結合，以報表、可視化等方式支持企業的業務決策，涵蓋產品、運營、市場、銷售、客戶支持各個一線部門。這個部分佔用了整個環節才10%的時間，但是卻能產生90%的價值。
一個優秀的商務數據分析師應該以價值為導向，緊密結合產品、運營、銷售、客戶支持等實踐，支持各條業務線發現問題、解決問題並創造更多的價值。
三、數據分析師必備的四大能力

數據分析師必備的四大技能
1.全局觀
某日，產品經理跑過來問我：Hi，能不能幫我看一下昨天產品新功能發送的數據？謝謝！條件反射我會說：好，我馬上給你！不過我還是禮貌性地問了一句：為什麼需要這數據呢？產品經理回復道：哦，昨天新功能上線了，我想看看效果。知道了產品經理的目的，我就可以針對性地進行數據提取和分析，分析的結果和建議也就更加具有可操作性。
很多時候，數據分析師不能就數說數，陷入各種報表中不能自拔。一個優秀的數據分析師應該具有全局觀，碰到分析需求的時候退一步多問個為什麼，更好地了解問題背景和分析目標。
2.專業度
某企業的數據科學家針對用戶流失情形進行建模預測，最終得到的用戶流失模型預測准確率高達90%多。准確率如此之高，讓商務分析師都不敢相信。經過檢驗，發現數據科學家的模型中有一個自變數是 「用戶是否點擊取消按鈕」 。而點擊了「取消」按鈕是用戶流失的重要徵兆，做過這個動作的用戶基本上都會流失，用這個自變數來預測流失沒有任何業務意義和可操作性。
數據分析師要在所在行業（例如電商、O2O、社交、媒體、SaaS、互金等等）展示她/他的專業度，熟悉自己行業的業務流程和數據背後的意義，避免上面的數據笑話。
3.想像力
商業環境的變化越來越快、越來越復雜，一組商業數據的背後涉及到的影響因素是常人難以想像的。數據分析師應該在工作經驗的基礎上發揮想像力，大膽創新和假設。
4.信任度
以銷售崗位為例，一個銷售人員首先要和用戶建立起信任；如果用戶不信任你的話，那他也很難信任或者購買你的產品。同理，數據分析師要和各部門同事建立良好的人際關系，形成一定的信任。各個部門的同事信任你了，他們才可能更容易接受你的分析結論和建議；否則事倍功半。
四、數據分析常見的七種思路
1.簡單趨勢
通過實時訪問趨勢了解產品使用情況，便於產品迅速迭代。訪問用戶量、訪問來源、訪問用戶行為三大指標對於趨勢分析具有重要意義。

分鍾級別的實時走勢

以星期為周期的趨勢對比
2.多維分解
數據分析師可以根據分析需要，從多維度對指標進行分解。例如瀏覽器類型、操作系統類型、訪問來源、廣告來源、地區、網站/手機應用、設備品牌、APP版本等等維度。

多維度分析訪問用戶的屬性
3.轉化漏斗
按照已知的轉化路徑，藉助漏斗模型分析總體和每一步的轉化情況。常見的轉化情境有注冊轉化分析、購買轉化分析等。

漏斗分析展示注冊每一步的流失率
4.用戶分群
在精細化分析中，常常需要對有某個特定行為的用戶群組進行分析和比對；數據分析師需要將多維度和多指標作為分群條件，有針對性地優化產品，提升用戶體驗。
5.細查路徑
數據分析師可以觀察用戶的行為軌跡，探索用戶與產品的交互過程；進而從中發現問題、激發靈感亦或驗證假設。

通過細查路徑分析用戶的行為規律
6.留存分析
留存分析是探索用戶行為與回訪之間的關聯。一般我們講的留存率，是指「新增用戶」在一段時間內「回訪網站/app」的比例。 數據分析師通過分析不同用戶群組的留存差異、使用過不同功能用戶的留存差異來找到產品的增長點。

留存分析發現「創建圖表」的用戶留存度更高
7.A/B 測試
A/B測試就是同時進行多個方案並行測試，但是每個方案僅有一個變數不同；然後以某種規則（例如用戶體驗、數據指標等）優勝略汰選擇最優的方案。數據分析師需要在這個過程中選擇合理的分組樣本、監測數據指標、事後數據分析和不同方案評估。
五、數據分析實戰案例
某社交平台推出付費高級功能，並且以EDM（Email Direct Marketing，電子郵件營銷）的形式向目標用戶推送，用戶可以直接點擊郵件中的鏈接完成注冊。該渠道的注冊轉化率一直在10%-20%之間；但是8月下旬開始注冊轉化率急劇下降，甚至不到5%。
如果你是該公司的數據分析師，你會如何分析這個問題呢？換言之，哪些因素可能造成EDM轉化率驟降？
一個優秀的數據分析師應該具有全局觀和專業度，從業務實際出發，綜合各個方面的可能性。因此，EDM注冊轉化率驟降的可能性羅列如下：
1.技術原因：ETL延遲或者故障，造成前端注冊數據缺失，注冊轉化率急劇下降；
2.外部因素：該時間節點是否有節假日，其他部門近期是否有向用戶發送推廣郵件，這些因素可能稀釋用戶的注意力；
3.內部因素：郵件的文案、設計是否有改變；郵件的到達率、打開率、點擊率是否正常；郵件的注冊流是否順暢。
經過逐一排查，數據分析師將原因鎖定在注冊流程上：產品經理在注冊環節添加了綁定信用卡的內容，導致用戶的注冊提交意願大幅度下降，轉化率暴跌。
一個看似簡單的轉化率分析問題，它的背後是數據分析師各方面能力的體現。首先是技術層面，對ETL（數據抽取－轉換－載入）的理解和認識；其實是全局觀，對季節性、公司等層面的業務有清晰的了解；最後是專業度，對EDM業務的流程、設計等了如指掌。
練就數據分析的洪荒之力並非一朝一夕之功，而是在實踐中不斷成長和升華。一個優秀的數據分析師應該以價值為導向，放眼全局、立足業務、與人為善，用數據來驅動增長。

F. 數據科學與大數據技術專業怎麼樣前景如何謝謝！

數據科學與大數據技術專業很不錯，前景比較樂觀，畢業生能在政府機構企業公司等從事大數據管理研究應用開發等方面的工作。同時可以考取軟體工程計算機科學與技術應用統計學等專業的研究生或出國深造。下面我們就來具體說一下這個行業的發展前景和畢業之後的就業情況。

G. 什麼是建模分析師

建模分析師對應的是CDA二級建模分析師考試。他們通常扮演一個數據工程師的角色。主要依靠他們的軟體工程經驗來處理大規模的大量數據。他們通常專注於編碼，清理數據集，以及實施來自數據科學家的請求。他們通常知道從Python到Java的各種各樣的編程語言。當有人從數據科學家那裡獲取預測模型並用代碼實現它，你能拿到的薪水：建模分析師作為數據工程師，在數據科學角色中占據著十分重要的地位，月薪一般為15k-25k你需要掌握的知識：理論基礎：統計學、概率論和數理統計、多元統計分析、時間序列、數據挖掘（DM）軟體要求：必要Excel、SQL；可選SPSS MODELER、R、Python、SAS等業務分析能力：Data可以將業務目標轉化為數據分析目標；熟悉常用演算法和數據結構，熟悉企業資料庫構架建設；針對不同分析主體，可以熟練的進行維度分析，能夠從海量數據中搜集並提取信息；通過相關數據分析方法，結合一個或多個數據分析軟體完成對海量數據的處理和分析。結果展現能力：報告體現數據挖掘的整體流程，層層闡述信息的收集、模型的構建、結果的驗證和解讀，對行業進行評估，優化和決策。

H. 怎樣用python數據建模

最近，我從孫子（指《孫子兵法》——譯者注）那裡學到了一些策略：速度和准備
「兵之情主速，乘人之不及，由不虞之道，攻其所不戒也。」（《孫子兵法•九地篇》）無備為戰之大患，有備無患，其乃至德也。（哈哈，譯者自己寫了這句，想必大家能明白。）
這與數據科學博客有什麼關系呢？這是你贏得競爭和編程馬拉松的關鍵。如果你比競爭對手准備得更充分，你學習、迭代執行的速度越快，那麼你就取得更好的名次，帶來更好的結果。
由於近幾年來，Python用戶數量上漲及其本身的簡潔性，使得這個工具包對數據科學世界的Python專家們變得有意義。本文將幫助你更快更好地建立第一個預測模型。絕大多數優秀的數據科學家和kagglers建立自己的第一個有效模型並快速提交。這不僅僅有助於他們領先於排行榜，而且提供了問題的基準解決方案。
預測模型的分解過程
我總是集中於投入有質量的時間在建模的初始階段，比如，假設生成、頭腦風暴、討論或理解可能的結果范圍。所有這些活動都有助於我解決問題，並最終讓我設計出更強大的商業解決方案。為什麼你要在前面花費這段時間，這有充分的理由：
你有足夠的時間投入並且你是無經驗的（這是有影響的）
你不帶有其它數據觀點或想法的偏見（我總是建議，在深入研究數據之前做假設生成）
在後面的階段，你會急於完成該項目而沒有能力投入有質量的時間了。
這個階段需要投入高質量時間，因此我沒有提及時間表，不過我建議你把它作為標準的做法。這有助於你建立建立更好地預測模型，在後面的階段的只需較少的迭代工作。讓我們來看看建立第一個模型的剩餘階段的時間表：
數據描述性分析——50%的時間
數據預處理（缺失值和異常值修復）——40%的時間
數據建模——4%的時間
性能預測——6%的時間
讓我們一步一步完成每個過程（每一步投入預測的時間）：
階段1：描述性分析/數據探索
在我剛開始成為數據科學家的時候，數據探索占據了我大量的時間。不過，隨著時間的推移，我已經把大量的數據操作自動化了。由於數據准備占據建立第一個模型工作量的50%，自動化的好處是顯而易見的。
這是我們的第一個基準模型，我們去掉任何特徵設計。因此，描述分析所需的時間僅限於了解缺失值和直接可見的大的特徵。在我的方法體系中，你將需要2分鍾來完成這一步（假設，100000個觀測數據集）。
我的第一個模型執行的操作：
確定ID，輸入特徵和目標特徵
確定分類和數值特徵
識別缺失值所在列
階段2：數據預處理（缺失值處理）
有許多方法可以解決這個問題。對於我們的第一個模型，我們將專注於智能和快速技術來建立第一個有效模型。
為缺失值創建假標志：有用，有時缺失值本身就攜帶了大量的信息。
用均值、中位數或其它簡單方法填補缺失值：均值和中位數填補都表現良好，大多數人喜歡用均值填補但是在有偏分布的情況下我建議使用中位數。其它智能的方法與均值和中位數填補類似，使用其它相關特徵填補或建立模型。比如，在Titanic生存挑戰中，你可以使用乘客名字的稱呼，比如：「Mr.」, 「Miss.」,」Mrs.」,」Master」，來填補年齡的缺失值，這對模型性能有很好的影響。
填補缺失的分類變數：創建一個新的等級來填補分類變數，讓所有的缺失值編碼為一個單一值比如，「New_Cat」，或者，你可以看看頻率組合，使用高頻率的分類變數來填補缺失值。
由於數據處理方法如此簡單，你可以只需要3到4分鍾來處理數據。
階段3：數據建模
根據不同的業務問題，我推薦使用GBM或RandomForest技術的任意一種。這兩個技術可以極其有效地創建基準解決方案。我已經看到數據科學家通常把這兩個方法作為他們的第一個模型同時也作為最後一個模型。這最多用去4到5分鍾。

I. 東北大學的數據科學項目怎樣

東北大學的數據科學項目開設於波士頓校區的CCIS院下，是2016年新增項目。該項目主要培養學生建立處理、建模、分析和推理數據的綜合框架。項目核心課程：演算法和數據處理，機器學習和數據挖掘，以及信息可視化。所有的錄取學生，無論學術背景如何，都要在開學前一周參加計算機科學和編程基礎、概率論和線性代數基礎的兩項考試，不符合標準的學生需要額外修對應的基礎課程。由此可見，該項目對於學生學術基礎的要求極高。
· 項目時長：1年
· 項目要求學分：32學分，GPA需達到3.0+/4.0
· 項目特點：注重培養數據科學基礎技術，提供豐厚獎學金

J. 數據科學有哪些學習內容

數據科學根據其側重點不同其實又分為三大類，即：數據分析、數據挖掘和大數據。
數據分析主要偏重業務，即利用一些數據分析和統計工具，如Excel、Spass、SAS、SQL等，進行數據分析和展現，以輔助公司的某項業務決策。
數據挖掘比數據分析更側重於建模能力一些，一般是給定一些數據和某個問題，讓你運用某些機器學習演算法從中建立出模型，再通過這個模型去對某些東西進行預測。所以，機器學習演算法可以說是數據挖掘中的核心。
大數據目前一般指Hadoop和Spark這些大數據框架，實際上偏重於一些平台架構類的東西。
注意，我們這里的數據科學主要圍繞數據挖掘為主，輔助以一些數據分析技術。