数据科学建模

A. 数据科学专业就业方向

数据科学与大数据技术专业学生毕业生能在政府机构、企业、公司等从事大数据管理、研究、应用开发等方面的工作。同时可以考取软件工程、计算机科学与技术、应用统计学等专业的研究生或出国深造。就业方向很多，薪资待遇也非常不错。



1数据科学与大数据技术专业具体就业方向
1.大数据系统架构师

大数据平台搭建、系统设计、基础设施。

2.大数据系统分析师

面向实际行业领域，利用大数据技术进行数据安全生命周期管理、分析和应用。

3.hadoop开发工程师。

解决大数据存储问题。

4.数据分析师

不同行业中，专门从事行业数据搜集、整理、分析，并依据数据做出行业研究、评估和预测的专业人员。在工作中通过运用工具，提取、分析、呈现数据，实现数据的商业意义。

作为一名数据分析师，至少需要熟练SPSS、STATISTIC、Eviews、SAS、大数据魔镜等数据分析软件中的一门，至少能用Acess等进行数据库开发，至少掌握一门数学软件如matalab、mathmatics进行新模型的构建，至少掌握一门编程语言。总之，一个优秀的数据分析师，应该业务、管理、分析、工具、设计都不落下。

2数据科学与大数据技术专业简介
数据科学与大数据技术专业以统计学、数学、计算机为三大支撑性学科;生物、医学、环境科学、经济学、社会学、管理学为应用拓展性学科。此外还需学习数据采集、分析、处理软件,学习数学建模软件及计算机编程语言等,知识结构是二专多能复合的跨界人才(有专业知识、有数据思维)。

不同院校开设此专业,培养模式会有差异。有些会更多偏向于工具的使用,如数据清洗、数据存储以及数据可视化等相关工具的使用;有些会倾向于大数据相关基础知识全面覆盖性教学,在研究生段则会专攻某一技术领域,比如数据挖掘、数据分析、商业智能、人工智能等。

B. 数据科学都要学什么内容

大致需要四方面的能力： 1，数学能力。因为需要构建很多复杂的模型，里面涉及很多算法版，需要雄厚的数学权基础。 2，统计能力。得出模型结果后，通常需要统计基础结合实际的业务情况来解读结果。 3，编程能力。大部分软件都需要自己建模编程，因此编程时一种表达自己构建模型的基础。 4，业务分析能力。能够对于实际情况进行有效的解读，才可以转化为数学统计语言。

C. 对数据科学家来说最重要的算法和统计模型

对数据科学家来说最重要的算法和统计模型
作为一个在这个行业已经好几年的数据科学家，在LinkedIn和QuoLa上，我经常接触一些学生或者想转行的人，帮助他们进行机器学习的职业建议或指导方面相关的课程选择。一些问题围绕教育途径和程序的选择，但许多问题的焦点是今天在数据科学领域什么样的算法或模型是常见的。
由于可供选择的算法太多了，很难知道从哪里开始学起。课程可能包括在当今工业中使用的不是很典型的算法，而课程可能没有包含目前不是很流行的但特别有用的方法。基于软件的程序可以排除重要的统计概念，并且基于数学的程序可以跳过算法设计中的一些关键主题。

我为一些有追求的数据专家整理了一个简短的指南，特别是关注统计模型和机器学习模型(有监督学习和无监督学习);这些主题包括教科书、毕业生水平的统计学课程、数据科学训练营和其它培训资源。(其中有些包含在文章的参考部分)。由于机器学习是统计学的一个分支，机器学习算法在技术上归类于统计学知识，还有数据挖掘和更多的基于计算机科学的方法。然而，由于一些算法与计算机科学课程的内容相重叠，并且因为许多人把传统的统计方法从新方法中分离出来，所以我将把列表中的两个分支也分开了。

统计学的方法包括在bootcamps和证书程序中概述的一些更常见的方法，还有一些通常在研究生统计学程序中所教授的不太常见的方法(但在实践中可以有很大的优势)。所有建议的工具都是我经常使用的工具:
1)广义线性模型，它构成了大多数监督机器学习方法的基础(包括逻辑回归和Tweedie回归，它概括了在工业中遇到的大多数计数或连续结果……)
2) 时间序列方法(ARIMA, SSA, 基于机器学习的方法)
3) 结构方程建模 (模拟和测试介导途径)
4) 因子分析法(调查设计与验证的探索和验证)
5) 功率分析/试验设计 (特别是基于仿真的试验设计，以免分析过度)
6) 非参数检验(从零开始的推导, 尤其通过模拟)/MCMC
7) K均值聚类
8) 贝叶斯方法(Na?ve Bayes, 贝叶斯模型求平均值, 贝叶斯自适应试验...)
9) 惩罚回归模型 (elastic net, LASSO, LARS...) ，通常给模型增加惩罚因素(SVM, XGBoost...), 这对于预测值超过观测值的数据集是有用的(常见于基因组学与社会科学研究)
10) 样条模型(MARS...) 用于灵活性建模过程
11)马尔可夫链和随机过程 (时间序列建模与预测建模的另一种方法)
12)缺失数据填补方案及其假设(missForest, MICE...)
13) 生存分析(非常有助于制造建模和消耗过程)
14) 混合建模
15) 统计推断与分组测试(A/B测试和在许多交易活动中实施更复杂的设计)
机器学习扩展了许多这样框架，特别是K均值聚类和广义线性建模。在许多行业中一些有用的常见技术(还有一些更模糊的算法，在bootcamps或证书程序中出人意料的有用，但学校里很少教) 包括:
1)回归/分类树(用于高精度、可解释性好、计算费用低的广义线性模型的早期推广)
2)维数约简(PCA和多样学习方法如MDS和tSNE)
3)经典前馈神经网络
4)装袋组合(构成了随机森林和KNN回归整合等算法的基础)
7)加速整合(这是梯度提升和XGBoost算法的基础)
8)参数优化或设计项目的优化算法(遗传算法，量子启发进化算法，模拟锻炼，粒子群优化)
9)拓扑数据分析工具，特别适合于小样本大小的无监督学习(持久同调, Morse-Smale聚类, Mapper...)
10)深度学习架构(一般的深度架构)
11) KNN局部建模方法(回归, 分类)
12)基于梯度的优化方法
13)网络度量与算法(中央度量法、中间性、多样性、熵、拉普拉斯算子、流行病扩散、谱聚类)
14)深度体系架构中的卷积和汇聚层(专门适用于计算机视觉和图像分类模型)
15)层次聚类 (聚类和拓扑数据分析工具相关)
16)贝叶斯网络(路径挖掘)
17)复杂性与动态系统(与微分方程有关，但通常用于模拟没有已知驱动程序的系统)
依靠所选择的行业，可能需要与自然语言处理(NLP)或计算机视觉相关的附加算法。然而，这些是数据科学和机器学习的专门领域，进入这些领域的人通常已经是那个特定领域的专家。

D. 大数据的数据科学与关键技术是什么

对于大数据想必大家都有所了解了吧？随着信息化的不断发展，大数据也越来越被人们所熟知。我们都知道，现在很多行业都离不开数据分析，在数据分析中我们有听说了大数据，大数据涉及到了很多的行业，一般来说，大数据涉及到了金融、交通、医疗、安全、社交、电信等等。由此可见，大数据面向的方向有很多，面向的范围很广。我们可以把大数据比喻成一个大容器，很多的东西都能够装在这个大容器中，但是大数据都是有一些技术组成的，那么大数据的数据科学和关键技术都是什么呢？在这篇文章我们就给大家解答一下这个问题。
通常来说，大数据的数据采集是通过传感器、智能终端设备、数据储存这三个方面组成，而通过传感器的大数据离不开物联网，通过智能终端的大数据离不开互联网，而数据的海量储存离不开云计算，最重要的就是大数据的计算分析采用机器学习，大数据的互动展示离不开可视化，所以我们需要知道大数据的数据科学和关键技术，只有这样我们才能够用好大数据。
首先我们来说说数据科学，数据科学可以理解为一个跨多学科领域的，从数据中获取知识的科学方法，技术和系统集合，其目标是从数据中提取出有价值的信息，它结合了诸多领域中的理论和技术，包括应用数学，统计，模式识别，机器学习，人工智能，深度学习，数据可视化，数据挖掘，数据仓库，以及高性能计算等。很多的领域都是离不开数据科学的。
那么数据科学的过程是什么呢？一般来说，数据科学的过程就是有原始数据采集，数据预处理和清洗，数据探索式分析，数据计算建模，数据可视化和报表，数据产品和决策支持等内容，而传统信息化技术多是在结构化和小规模数据上进行计算处理，大数据时代呢，数据变大了，数据多源异构了，需要智能预测和分析支持了，所以核心技术离不开机器学习、数据挖掘、人工智能等，另外还需考虑海量数据的分布式存储管理和机器学习算法并行处理，所以数据的大规模增长客观上促进了数据科学技术生态的繁荣与发展，包括大数据采集、数据预处理、分布式存储、MySQL数据库、多模式计算、多模态计算、数据仓库、数据挖掘、机器学习、人工智能、深度学习、并行计算、可视化等各种技术范畴和不同的层面。由此可见大数据是一门极度专业性的学科。
在这篇文章中我们给大家介绍了数据科学的关键技术的实际内容，大数据的数据科学的关键技术有很多，我们需要学习很多的知识，这样我们才能够触类旁通，让大数据更好地为我们服务。

E. 数据科学家与数据分析师，数据工程师到底有何差别

近些年，互联网公司对数据分析师岗位的需求越来越多，这不是偶然。
过去十多年，中国互联网行业靠着人口红利和流量红利野蛮生长；而随着流量获取成本不断提高、运营效率的不断下降，这种粗放的经营模式已经不再可行。互联网企业迫切需要通过数据分析来实现精细化运营，降低成本、提高效率；而这对数据分析师也提出了更高的要求。
本文将和大家分享数据分析师的演变、数据分析价值体系、数据分析师必备的四大能力、七大常用思路以及实战分析案例。
一、数据分析师的前世今生
在介绍数据分析师之前，我们先来看一下这几个历史人物，看看他们都跟数据分析师有着怎样的渊源？

历史上大名鼎鼎的“分析师”
上面展示的六个历史人物（从左往右，从上往下）分别是：张良、管仲、萧何、孙斌、鬼谷子和诸葛亮。他们是历史上大名鼎鼎的谋士，有的还做过丞相。他们博览群书、眼光独到，通过对大量史实进行总结发现了很多规律，并且在实践中成功预测了很多事件。他们通过 “历史统计——总结分析——预测未来”的实践为自己的组织创造了绝大的价值，而这就是“数据分析师”的前身。
那么现在，数据分析师需要哪些必备技能，如何成为一名优秀的数据分析师呢？
二、数据分析师的价值金字塔
一个完整的企业数据分析体系涉及到多个环节：采集、清理、转化、存储、可视化、分析决策等等。其中，不同环节工作内容不一样，消耗的时间和产生的价值也相差甚远。

数据分析价值金字塔
互联网企业数据分析体系中至少有三方面的数据：用户行为数据、交易订单数据和CRM数据。工程师把不同来源的数据采集好，然后通过清理、转化等环节统一到数据平台上；再由专门的数据工程师从数据平台上提出数据。这些工作占用了整个环节90%的时间，然而产生的价值却只占10%。
这个金字塔再往上数据分析就和业务实际紧密结合，以报表、可视化等方式支持企业的业务决策，涵盖产品、运营、市场、销售、客户支持各个一线部门。这个部分占用了整个环节才10%的时间，但是却能产生90%的价值。
一个优秀的商务数据分析师应该以价值为导向，紧密结合产品、运营、销售、客户支持等实践，支持各条业务线发现问题、解决问题并创造更多的价值。
三、数据分析师必备的四大能力

数据分析师必备的四大技能
1.全局观
某日，产品经理跑过来问我：Hi，能不能帮我看一下昨天产品新功能发送的数据？谢谢！条件反射我会说：好，我马上给你！不过我还是礼貌性地问了一句：为什么需要这数据呢？产品经理回复道：哦，昨天新功能上线了，我想看看效果。知道了产品经理的目的，我就可以针对性地进行数据提取和分析，分析的结果和建议也就更加具有可操作性。
很多时候，数据分析师不能就数说数，陷入各种报表中不能自拔。一个优秀的数据分析师应该具有全局观，碰到分析需求的时候退一步多问个为什么，更好地了解问题背景和分析目标。
2.专业度
某企业的数据科学家针对用户流失情形进行建模预测，最终得到的用户流失模型预测准确率高达90%多。准确率如此之高，让商务分析师都不敢相信。经过检验，发现数据科学家的模型中有一个自变量是 “用户是否点击取消按钮” 。而点击了“取消”按钮是用户流失的重要征兆，做过这个动作的用户基本上都会流失，用这个自变量来预测流失没有任何业务意义和可操作性。
数据分析师要在所在行业（例如电商、O2O、社交、媒体、SaaS、互金等等）展示她/他的专业度，熟悉自己行业的业务流程和数据背后的意义，避免上面的数据笑话。
3.想象力
商业环境的变化越来越快、越来越复杂，一组商业数据的背后涉及到的影响因素是常人难以想象的。数据分析师应该在工作经验的基础上发挥想象力，大胆创新和假设。
4.信任度
以销售岗位为例，一个销售人员首先要和用户建立起信任；如果用户不信任你的话，那他也很难信任或者购买你的产品。同理，数据分析师要和各部门同事建立良好的人际关系，形成一定的信任。各个部门的同事信任你了，他们才可能更容易接受你的分析结论和建议；否则事倍功半。
四、数据分析常见的七种思路
1.简单趋势
通过实时访问趋势了解产品使用情况，便于产品迅速迭代。访问用户量、访问来源、访问用户行为三大指标对于趋势分析具有重要意义。

分钟级别的实时走势

以星期为周期的趋势对比
2.多维分解
数据分析师可以根据分析需要，从多维度对指标进行分解。例如浏览器类型、操作系统类型、访问来源、广告来源、地区、网站/手机应用、设备品牌、APP版本等等维度。

多维度分析访问用户的属性
3.转化漏斗
按照已知的转化路径，借助漏斗模型分析总体和每一步的转化情况。常见的转化情境有注册转化分析、购买转化分析等。

漏斗分析展示注册每一步的流失率
4.用户分群
在精细化分析中，常常需要对有某个特定行为的用户群组进行分析和比对；数据分析师需要将多维度和多指标作为分群条件，有针对性地优化产品，提升用户体验。
5.细查路径
数据分析师可以观察用户的行为轨迹，探索用户与产品的交互过程；进而从中发现问题、激发灵感亦或验证假设。

通过细查路径分析用户的行为规律
6.留存分析
留存分析是探索用户行为与回访之间的关联。一般我们讲的留存率，是指“新增用户”在一段时间内“回访网站/app”的比例。 数据分析师通过分析不同用户群组的留存差异、使用过不同功能用户的留存差异来找到产品的增长点。

留存分析发现“创建图表”的用户留存度更高
7.A/B 测试
A/B测试就是同时进行多个方案并行测试，但是每个方案仅有一个变量不同；然后以某种规则（例如用户体验、数据指标等）优胜略汰选择最优的方案。数据分析师需要在这个过程中选择合理的分组样本、监测数据指标、事后数据分析和不同方案评估。
五、数据分析实战案例
某社交平台推出付费高级功能，并且以EDM（Email Direct Marketing，电子邮件营销）的形式向目标用户推送，用户可以直接点击邮件中的链接完成注册。该渠道的注册转化率一直在10%-20%之间；但是8月下旬开始注册转化率急剧下降，甚至不到5%。
如果你是该公司的数据分析师，你会如何分析这个问题呢？换言之，哪些因素可能造成EDM转化率骤降？
一个优秀的数据分析师应该具有全局观和专业度，从业务实际出发，综合各个方面的可能性。因此，EDM注册转化率骤降的可能性罗列如下：
1.技术原因：ETL延迟或者故障，造成前端注册数据缺失，注册转化率急剧下降；
2.外部因素：该时间节点是否有节假日，其他部门近期是否有向用户发送推广邮件，这些因素可能稀释用户的注意力；
3.内部因素：邮件的文案、设计是否有改变；邮件的到达率、打开率、点击率是否正常；邮件的注册流是否顺畅。
经过逐一排查，数据分析师将原因锁定在注册流程上：产品经理在注册环节添加了绑定信用卡的内容，导致用户的注册提交意愿大幅度下降，转化率暴跌。
一个看似简单的转化率分析问题，它的背后是数据分析师各方面能力的体现。首先是技术层面，对ETL（数据抽取－转换－载入）的理解和认识；其实是全局观，对季节性、公司等层面的业务有清晰的了解；最后是专业度，对EDM业务的流程、设计等了如指掌。
练就数据分析的洪荒之力并非一朝一夕之功，而是在实践中不断成长和升华。一个优秀的数据分析师应该以价值为导向，放眼全局、立足业务、与人为善，用数据来驱动增长。

F. 数据科学与大数据技术专业怎么样前景如何谢谢！

数据科学与大数据技术专业很不错，前景比较乐观，毕业生能在政府机构企业公司等从事大数据管理研究应用开发等方面的工作。同时可以考取软件工程计算机科学与技术应用统计学等专业的研究生或出国深造。下面我们就来具体说一下这个行业的发展前景和毕业之后的就业情况。

G. 什么是建模分析师

建模分析师对应的是CDA二级建模分析师考试。他们通常扮演一个数据工程师的角色。主要依靠他们的软件工程经验来处理大规模的大量数据。他们通常专注于编码，清理数据集，以及实施来自数据科学家的请求。他们通常知道从Python到Java的各种各样的编程语言。当有人从数据科学家那里获取预测模型并用代码实现它，你能拿到的薪水：建模分析师作为数据工程师，在数据科学角色中占据着十分重要的地位，月薪一般为15k-25k你需要掌握的知识：理论基础：统计学、概率论和数理统计、多元统计分析、时间序列、数据挖掘（DM）软件要求：必要Excel、SQL；可选SPSS MODELER、R、Python、SAS等业务分析能力：Data可以将业务目标转化为数据分析目标；熟悉常用算法和数据结构，熟悉企业数据库构架建设；针对不同分析主体，可以熟练的进行维度分析，能够从海量数据中搜集并提取信息；通过相关数据分析方法，结合一个或多个数据分析软件完成对海量数据的处理和分析。结果展现能力：报告体现数据挖掘的整体流程，层层阐述信息的收集、模型的构建、结果的验证和解读，对行业进行评估，优化和决策。

H. 怎样用python数据建模

最近，我从孙子（指《孙子兵法》——译者注）那里学到了一些策略：速度和准备
“兵之情主速，乘人之不及，由不虞之道，攻其所不戒也。”（《孙子兵法•九地篇》）无备为战之大患，有备无患，其乃至德也。（哈哈，译者自己写了这句，想必大家能明白。）
这与数据科学博客有什么关系呢？这是你赢得竞争和编程马拉松的关键。如果你比竞争对手准备得更充分，你学习、迭代执行的速度越快，那么你就取得更好的名次，带来更好的结果。
由于近几年来，Python用户数量上涨及其本身的简洁性，使得这个工具包对数据科学世界的Python专家们变得有意义。本文将帮助你更快更好地建立第一个预测模型。绝大多数优秀的数据科学家和kagglers建立自己的第一个有效模型并快速提交。这不仅仅有助于他们领先于排行榜，而且提供了问题的基准解决方案。
预测模型的分解过程
我总是集中于投入有质量的时间在建模的初始阶段，比如，假设生成、头脑风暴、讨论或理解可能的结果范围。所有这些活动都有助于我解决问题，并最终让我设计出更强大的商业解决方案。为什么你要在前面花费这段时间，这有充分的理由：
你有足够的时间投入并且你是无经验的（这是有影响的）
你不带有其它数据观点或想法的偏见（我总是建议，在深入研究数据之前做假设生成）
在后面的阶段，你会急于完成该项目而没有能力投入有质量的时间了。
这个阶段需要投入高质量时间，因此我没有提及时间表，不过我建议你把它作为标准的做法。这有助于你建立建立更好地预测模型，在后面的阶段的只需较少的迭代工作。让我们来看看建立第一个模型的剩余阶段的时间表：
数据描述性分析——50%的时间
数据预处理（缺失值和异常值修复）——40%的时间
数据建模——4%的时间
性能预测——6%的时间
让我们一步一步完成每个过程（每一步投入预测的时间）：
阶段1：描述性分析/数据探索
在我刚开始成为数据科学家的时候，数据探索占据了我大量的时间。不过，随着时间的推移，我已经把大量的数据操作自动化了。由于数据准备占据建立第一个模型工作量的50%，自动化的好处是显而易见的。
这是我们的第一个基准模型，我们去掉任何特征设计。因此，描述分析所需的时间仅限于了解缺失值和直接可见的大的特征。在我的方法体系中，你将需要2分钟来完成这一步（假设，100000个观测数据集）。
我的第一个模型执行的操作：
确定ID，输入特征和目标特征
确定分类和数值特征
识别缺失值所在列
阶段2：数据预处理（缺失值处理）
有许多方法可以解决这个问题。对于我们的第一个模型，我们将专注于智能和快速技术来建立第一个有效模型。
为缺失值创建假标志：有用，有时缺失值本身就携带了大量的信息。
用均值、中位数或其它简单方法填补缺失值：均值和中位数填补都表现良好，大多数人喜欢用均值填补但是在有偏分布的情况下我建议使用中位数。其它智能的方法与均值和中位数填补类似，使用其它相关特征填补或建立模型。比如，在Titanic生存挑战中，你可以使用乘客名字的称呼，比如：“Mr.”, “Miss.”,”Mrs.”,”Master”，来填补年龄的缺失值，这对模型性能有很好的影响。
填补缺失的分类变量：创建一个新的等级来填补分类变量，让所有的缺失值编码为一个单一值比如，“New_Cat”，或者，你可以看看频率组合，使用高频率的分类变量来填补缺失值。
由于数据处理方法如此简单，你可以只需要3到4分钟来处理数据。
阶段3：数据建模
根据不同的业务问题，我推荐使用GBM或RandomForest技术的任意一种。这两个技术可以极其有效地创建基准解决方案。我已经看到数据科学家通常把这两个方法作为他们的第一个模型同时也作为最后一个模型。这最多用去4到5分钟。

I. 东北大学的数据科学项目怎样

东北大学的数据科学项目开设于波士顿校区的CCIS院下，是2016年新增项目。该项目主要培养学生建立处理、建模、分析和推理数据的综合框架。项目核心课程：算法和数据处理，机器学习和数据挖掘，以及信息可视化。所有的录取学生，无论学术背景如何，都要在开学前一周参加计算机科学和编程基础、概率论和线性代数基础的两项考试，不符合标准的学生需要额外修对应的基础课程。由此可见，该项目对于学生学术基础的要求极高。
· 项目时长：1年
· 项目要求学分：32学分，GPA需达到3.0+/4.0
· 项目特点：注重培养数据科学基础技术，提供丰厚奖学金

J. 数据科学有哪些学习内容

数据科学根据其侧重点不同其实又分为三大类，即：数据分析、数据挖掘和大数据。
数据分析主要偏重业务，即利用一些数据分析和统计工具，如Excel、Spass、SAS、SQL等，进行数据分析和展现，以辅助公司的某项业务决策。
数据挖掘比数据分析更侧重于建模能力一些，一般是给定一些数据和某个问题，让你运用某些机器学习算法从中建立出模型，再通过这个模型去对某些东西进行预测。所以，机器学习算法可以说是数据挖掘中的核心。
大数据目前一般指Hadoop和Spark这些大数据框架，实际上偏重于一些平台架构类的东西。
注意，我们这里的数据科学主要围绕数据挖掘为主，辅助以一些数据分析技术。