发布时间：
数据科学家倾向于用探索数据的方式来看待周围的世界。把大量散乱的数据变成结构化的可供分析的数据，还要找出丰富的数据源，整合其他可能不完整的数 据源，并清理成结果数据集。新的竞争环境中，挑战不断地变化，新数据不断地流入，数据科学家需要帮助决策者穿梭于各种分析，从临时数据分析到持续的数据交 互分析。当他们有所发现，便交流他们的发现，建议新的业务方向。他们很有创造力的展示视觉化的信息，也让找到的模式清晰而有说服力。把蕴含在数据中的规律 建议给Boss，从而影响产品，流程和决策。
数学功底：微积分是严格要掌握的。不一定要掌握多元微积分，但一元微积分是必须要熟练掌握并使用的。另外线性代数一定要精通，特别是矩阵的运算、向量空间、秩等概念。当前机器学习框架中很多计算都需要用到矩阵的乘法、转置或是求逆。虽然很多框架都直接提供了这样的工具，但我们至少要了解内部的原型原理，比如如何高效判断一个矩阵是否存在逆矩阵并如何计算等。数理统计：概率论和各种统计学方法要做到基本掌握，比如贝叶斯概率如何计算？概率分布是怎么回事？虽不要求精通，但对相关背景和术语一定要了解。交互式数据分析框架：这里并不是指SQL或数据库查询，而是像Apache Hive或Apache Kylin这样的分析交互框架。开源社区中有很多这样类似的框架，可以使用传统的数据分析方式对大数据进行数据分析或数据挖掘。笔者有过使用经验的是Hive和Kylin。不过Hive特别是Hive1是基于MapReduce的，性能并非特别出色，而Kylin采用数据立方体的概念结合星型模型，可以做到很低延时的分析速度，况且Kylin是第一个研发团队主力是中国人的Apache孵化项目，因此日益受到广泛的关注。机器学习框架：机器学习当前真是火爆宇宙了，人人都提机器学习和AI，但笔者一直认为机器学习恰似几年前的云计算一样，目前虽然火爆，但没有实际的落地项目，可能还需要几年的时间才能逐渐成熟。不过在现在就开始储备机器学习的知识总是没有坏处的。说到机器学习的框架，大家耳熟能详的有很多种, 信手拈来的就包括TensorFlow、Caffe8、Keras9、CNTK10、Torch711等，其中又以TensorFlow领衔。笔者当前建议大家选取其中的一个框架进行学习，但以我对这些框架的了解，这些框架大多很方便地封装了各种机器学习算法提供给用户使用，但对于底层算法的了解其实并没有太多可学习之处。因此笔者还是建议可以从机器学习算法的原理来进行学习。
分析和机器学习是数据科学家工作的核心。从数据中收集有用信息是数据科学的主要功能。机器学习的全部内容是创建系统来预测性能，这个需求非常大。数据科学需要统计学和计算机科学技能。统计学、计算机科学和数学也都是大学的专业，可能有助于加大它们出现的频度。数据科学家需要能够交流见解并与他人密切合作。人工智能和深度学习不像其他术语那样频繁出现。然而，它们是机器学习的子集。深度学习正被越来越多的机器学习任务所使用，而这些任务以前是由其他算法完成的。
数据科学与大数据技术，是2016年我国高校设置的本科专业，专业代码为080910T，学位授予门类为工学、理学，修业年限为四年，课程教学体系涵盖了大数据的发现、处理、运算、应用等核心理论与技术，旨在培养社会急需的具备大数据处理及分析能力的高级复合型人才。中文名数据科学与大数据技术专业代码080910T专业层次本科学科门类工学专业类别计算机类
数据科学，英文为Data Science，简称DS，从广义上来说，数据科学顾名思义，和数据有关的科学研究都是数据科学。维基百科对 DS 的解释是这样的：“ In general terms , Data Science is the extraction of knowledge from data , which is a continuation of the field data mining and predictive analytics , also known as knowledge discovery and data mining ”具体来说，数据科学是指通过挖掘数据、处理数据、分析数据，从而获取数据中潜在的信息和技术。数据科学家的工作：借助统计编程，设计、开发和运用算法来支持商业决策制定工具，管理海量数据， 创建可视化以帮助理解。数据科学是关于数据的科学，为研究探索数据界奥秘的理论、方法和技术。数据科学在20世纪60年代已被提出，只是当时并未获得学术界的注意和认可，1974年彼得诺尔出版了《计算机方法的简明调查》中将数据科学定义为：“处理数据的科学，一旦数据与其代表事物的关系被建立起来，将为其他领域与科学提供借鉴”。1996年在日本召开的“数据科学、分类和相关方法”，已经将数据科学作为会议的主题词。2001年美国统计学教授威廉克利夫兰发表了《数据科学：拓展统计学的技术领域的行动计划》，因此有人认为是克利夫兰首次将数据科学作为一个单独的学科，并把数据科学定义为统计学领域扩展到以数据作为现金计算对象相结合的部分，奠定了数据科学的理论基础。
2020年成为数据科学家需要具备哪些技能？
数据科学与大数据技术，是2016年我国高校设置的本科专业，专业代码为080910T，学位授予门类为工学、理学，修业年限为四年，课程教学体系涵盖了大数据的发现、处理、运算、应用等核心理论与技术，旨在培养社会急需的具备大数据处理及分析能力的高级复合型人才。中文名数据科学与大数据技术专业代码080910T专业层次本科学科门类工学专业类别计算机类
2020高考志愿填报，大数据专业解读
简单说有三大核心技术：拿数据，算数据，卖数据。基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。大数据预处理，指的是在进行数据分析之前，先对采集到的原始数据所进行的诸如“清洗、填补、平滑、合并、规格化、一致性检验”等一系列操作，旨在提高数据质量，为后期分析工作奠定基础。数据预处理主要包括四个部分：数据清理、数据集成、数据转换、数据规约。数据清理：指利用ETL等清洗工具，对有遗漏数据(缺少感兴趣的属性)、噪音数据(数据中存在着错误、或偏离期望值的数据)。数据集成：是指将不同数据源中的数据，合并存放到统一数据库的，存储方法，着重解决三个问题：模式匹配、数据冗余、数据值冲突处理。数据转换：是指对所抽取出来的数据中存在的不一致，进行处理的过程。它同时包含了数据清洗的工作，即根据业务规则对异常数据进行清洗，以保证后续分析结果准确性。数据规约：是指在最大限度保持数据原貌的基础上，最大限度精简数据量，以得到较小数据集的操作，包括：数据方聚集、维规约、数据压缩、数值规约、概念分层等。
数据科学家倾向于用探索数据的方式来看待周围的世界。把大量散乱的数据变成结构化的可供分析的数据，还要找出丰富的数据源，整合其他可能不完整的数 据源，并清理成结果数据集。新的竞争环境中，挑战不断地变化，新数据不断地流入，数据科学家需要帮助决策者穿梭于各种分析，从临时数据分析到持续的数据交 互分析。当他们有所发现，便交流他们的发现，建议新的业务方向。他们很有创造力的展示视觉化的信息，也让找到的模式清晰而有说服力。把蕴含在数据中的规律 建议给Boss，从而影响产品，流程和决策。
作者 | 彭鸿涛 张宗耀 聂磊 来源 | 大数据DT 一、数据科学家的工作模式与组织结构 数据科学家需要与业务专家一起工作才能发挥最大价值。实际工作中两种角色如何配合，取决于是采用业务驱动的模式还是数据驱动的模式。 数据驱动还是业务驱动 业务驱动的特点是业务人员主导数据分析需求的提出、结果的应用，在业务中应用数据洞察；而数据驱动的特点是更看重主动应用数据分析手段，从数据洞察发起业务、改善业务，当然在业务执行时也需要广泛应用数据洞察。在较新的业务领域采用数据驱动比较适合，已有复杂业务则采用业务驱动较好。 然而从自身能力的发展、数据驱动逐渐成为主要的工作模式的情况来看，数据科学家需要思考如何将数据驱动的模式做得更好，并且愿意承担更多责任。所以，除了算法、用法等基本技能，还需要考虑如何改善业务。 下图所示的职责占比只是示意，其实最核心的是由哪种角色来主导，在工作中也未见得业务专家不能主导数据驱动的模式。从业务结果的角度来看，所谓业务驱动和数据驱动只是到达一个既定目标时不同的工作方式而已。在实际的业务中也不会分工非常明确，即不会限定业务人员只能做什么或数据科学家只能做什么，只有相互无缝协作才是最佳的工作模式。 ▲业务专家与数据科学家的两种配合方式 数据科学家团队的组织结构 数据科学家团队的组织结构关系到数据应用的效率、管理的效率、个人的发展等诸多方面，企业在设置这个组织结构时需要认真考虑。每个企业的实际情况不同，可以采用不同的方法。数据科学家的组织结构一般分两种，即分散式结构和集中式结构。 分散式结构是数据科学家属于确定的业务部门，这样的组织结构的好处是其可以紧密地与业务人员合作，将业务问题转换为高效的数据分析任务。 但是其也有不足，一方面数据分析的知识积累是在个人身上，而不是在团队，另外一方面就是因为角色的限制使得业务部门内的数据科学家没有上升空间。业务部门内的数据科学家若要在职业道路上继续前进，要么离开，要么担任其他角色。一旦发生数据科学家的人事变化，这对团队稳定、知识积累等都是不利的。 集中式的数据科学家组织结构就是跨业务条线而成立独立的专门做数据分析的结构。这样的组织结构的好处就是团队相对稳定，给成员提供了不断成长的空间，也避免了知识积累的流失。 但是其也有不足，由于数据科学家脱离业务部门而独立存在，导致团队成员对业务的理解不够深入，模型的产出可能效率低下。业务部门也可能只将其看作支持部门，而不会在实际业务中有太多引入。 企业在构架数据科学家组织架构时，也可采用混合的结构。即使是集中式的组织结构，其汇报的层级也可能不同。没有所谓明确的业界标准的说法，因地制宜的做法才是最实际的。 二、数据科学家的工作方法要点 数据科学家的核心任务之一是通过数据分析手段将数据洞察应用在实际业务中，并能产生有效的结果。数据科学家在实际工作中需要注意以下要点，以确保上述目标的达成。 开始工作以前确保具备成功要件 在开始一件工作前，最好先明确一下业务场景、数据可获得性、数据质量等重要信息。在很多情况下，会出现因数据不支持无法进行细致分析、模型结果很好但是落地应用时没有对应的资源支持、数据分析只是探索没有对应的使用场景等问题。这些因素会严重影响数据分析的价值。 笔者作为顾问给多个客户实施数据分析项目时，就遇到过上述的问题。从客户的角度来讲，其关心的是业务问题的解决，并不会过多细致地考虑实施过程的细节。只有努力地尝试去做，才能发现有些问题会严重阻碍数据分析的进行，这也会影响数据分析的最终效果。 同时输出两种价值 假设要通过数据分析手段改善某业务问题，如构建预测模型筛选高价值、高响应率的客户，即使是在目标非常明确的情况下，数据科学家也要在做的过程中保证两种输出结果。 （1）重要发现 数据分析过程中势必要进行数据提取、数据处理、数据探查等一系列基础工作。在这些基础工作的过程中，往往会隐藏着有巨大业务价值的信息。比如，笔者的团队在给某金融机构构建高端客户的相关模型时发现一些信息，如“大部分客户只持有一类理财产品且在半年内没有交易活动”，这些信息对于后期的营销策略制定至关重要。 所以，数据科学家在实际工作中需保持“业务敏感性”，对于数据背后的业务故事保持好奇心，同时将一些重要的数据发现协同模型结果一并输出，这可以大大提高分析主题的价值。 （2）模型结果 给定分析主题，目标模型结果就可以基本确定，如寻找高价值客户就是模型输出一个名单，风险预警就是给出风险评分以及原因。这是模型输出的最基本形式。 在实际的模型实施应用中，业务人员会经常以挑剔的眼光来看待模型，并且基于模型结果总是有不同的疑惑需要数据科学家来解答。典型的疑惑如“聚类分析模型确实将客户分了几个类别，但是我还是不知道该如何营销这些客户”“社交网络分析模型给出了潜在的高价值客户名单，但这些信息不足以让营销人员开展营销”。 出现这种情况时，一种简单的做法就是和业务人员深入讨论，梳理出他们的关注点，然后将对应的指标从数据库中提取出来，作为模型输入的补充一并交给业务人员。 从本质上来讲，出现业务人员疑惑的原因是“业务人员期待模型输出决策而不是名单”以及团队缺乏将模型输出转换为营销决策的能力。数据科学家也需要具备将模型结果转换为业务决策的能力。 充满想象力地开展工作 算法能做到什么是数学范畴的知识，数据科学家的核心工作就是将业务需求转换为一系列的数据分析实践过程。若将各个算法看作一个个组件，那么用一个算法来解决问题还是用多个算法的组合来解决问题，需要数据科学家的想象力和不断尝试。 笔者的团队曾给某客户构建模型时，其需求是“根据客户持有产品的现状推荐产品，达到交叉销售的目的”。这是一个非常不具体的需求，能做的范围很大，能用的算法工具也很多。 最后我们采用的是构建“客户聚类与产品聚类的交叉分布以及迁移矩阵，并据此来展开不同目的营销”，若向上销售则可推荐同类产品，交叉销售则可推荐不同类的产品。这种做法之前没有实施过，但是结果证明其非常有效，仅在一次营销应用中就带来数十亿的营业额。 按照敏捷的方式来构建模型 数据挖掘过程也可以看作一个项目过程，从项目管理的角度当然可以按照敏捷的方式来进行。数据科学家需要积极主动地汇报分析思路、预期结果、进度等重要信息。时刻与业务人员以及管理人员保持沟通，对需求变化保持开放，将对模型的实际应用会有巨大的帮助。 一般情况下，让一个对数据和业务都不了解的人来构建模型，往往需要数月的时间；但让一个熟悉数据、业务、算法工具的人来建模，则可能只需几天就可以完成。不论哪种程度的人员来建模，都可以按照敏捷的方式来管理建模过程。 笔者与建模方法论CRISP-DM的提出者之一Julian Clinton一起工作过4年时间，在长期的项目实践中我们一直坚持该方法论所倡导的核心要点：紧贴业务、不断探索、以结果为导向、模型在应用后仍需不断调优等。事实证明，这些原则非常有效。CRISP-DM方法论的实施与实施过程中按照敏捷的方式来管理是相辅相成、相得益彰的。 以业务的成果来衡量自己的工作 模型的效果到底如何？数据科学家不应该基于测试集上优异的模型性能指标而洋洋自得，这没有任何意义，顶多代表建模的技巧高超。 模型最终带来的收益是由模型输出、匹配模型输出的业务决策、业务决策实施过程中的资源配置、应用场景的价值大小等综合因素共同决定的。缺少任何一环都会使得模型的价值直线下降。 数据科学家需要积极主动地推进这些环节的相关工作，积极收集模型部署后的监测数据，在“建模—业务决策匹配—业务决策实施—效果监控—模型或决策改进—再部署—再监测”的闭环中积极发挥作用。最终得出的业务结果数据，才是数据科学家真正成就感的源泉。
2020年成为数据科学家需要具备哪些技能？
主要由以下三点作用：第一，对大数据的处理分析正成为新一代信息技术融合应用的结点。移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到上述应用中，将创造出巨大的经济和社会价值。第二，大数据是信息产业持续高速增长的新引擎。面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在硬件与集成设备领域，大数据将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。第三，大数据利用将成为提高核心竞争力的关键因素。各行各业的决策正在从“业务驱动” 转变“数据驱动”。1、大数据是大量、高速、多变的信息，它需要新型的处理方式去促成更强的决策能力、洞察力与最佳化处理。大数据为企业获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。2、借助大数据及相关技术，我们可针对不同行为特征的客户进行针对性营销，甚至能从“将一个产品推荐给一些合适的客户”到“将一些合适的产品推荐给一个客户”，得以更聚焦客户，进行个性化精准营销。3、大数据时代下的精准营销是指通过大数据获取对象的喜好，行为偏好，对不同对象进行不同营销。大数据精准营销的核心可以概括为几大关键词：用户、需求、识别、体验。
大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。通过大量的统计了解大家的喜好，想要的东西，从而得到他们想要的，比如精准营销，征信分析，消费分析等等
回答 您好 亲 主要由以下三点作用： 一、对大数据的处理分析正成为新一代信息技术融合应用的结点。移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。 云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到上述应用中，将创造出巨大的经济和社会价值。 二、大数据是信息产业持续高速增长的新引擎。面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。 在硬件与集成设备领域，大数据将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。 三、大数据利用将成为提高核心竞争力的关键因素。各行各业的决策正在从“业务驱动” 转变“数据驱动”。大数据是大量、高速、多变的信息，它需要新型的处理方式去促成更强的决策能力、洞察力与最佳化处理。大数据为企业获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。 借助大数据及相关技术，我们可针对不同行为特征的客户进行针对性营销，甚至能从“将一个产品推荐给一些合适的客户”到“将一些合适的产品推荐给一个客户”，得以更聚焦客户，进行个性化精准营销。 大数据时代带来的机遇： 1、社会治理是对社会的经济、政治和文化等事务进行的组织、协调、指导、规范、监督的过程。它涉及合理有效配置社会资源，比如提供教育、文化、卫生、体育、社会保障等社会公共服务和公共产品，保障社会公平与公正；涉及通过行政及司法手段保障社会安全和社会稳定。 2、创新社会治理，是我国应对社会转型、化解社会矛盾、协调利益关系、维护社会秩序所面临的一项重大战略任务。 3、大数据技术通过对海量数据的快速收集与挖掘、及时研判与共享，成为支持社会治理科学决策和准确预判的有力手段，为社会转型期的社会治理创新带来了机遇。 更多9条
您好，一是信息孤岛普遍存在。跨部门、跨行业的数据共享仍不顺畅，有价值的公共信息资源和商业数据开放程度低，基本处于死锁状态，无法顺畅流动。二是对大数据产业发展规律认识不足。全社会尚未形成对大数据产业发展规律的客观、科学的认识，一些地方误将数据中心建设视为大数据产业发展重点，盲目追逐硬件设施投资，轻视了数据资源汇聚、积累、处理与应用能力建设，未能主动推进大数据产业发展与应用需求间的对接。三是技术创新与支撑能力不足。大数据需要从底层芯片到基础软件再到应用分析软件等信息产业全产业链的支撑，无论是新型计算平台、分布式计算架构，还是大数据处理、分析和呈现方面与国外均存在较大差距，难以满足各行各业大数据应用需求。四是数据资源建设和应用水平低。用户普遍不重视数据资源的建设，即使有数据意识的机构也大多只重视数据的简单存储，很少针对后续应用需求进行加工整理。数据资源普遍存在质量差，标准规范缺乏，管理能力弱，数据价值难以被有效挖掘利用的问题。五是信息安全和数据管理体系尚未建立。数据所有权、隐私权等相关法律法规和信息安全、开放共享等标准规范缺乏，技术安全防范和管理能力不够，尚未建立起兼顾安全与发展的数据开放、管理和信息安全保障体系，制约了大数据发展。六是人才队伍建设亟须加强。综合掌握数学、统计学、计算机等相关学科及应用领域知识的综合性数据科学人才缺乏，远不能满足发展需要，尤其是缺乏既熟悉行业业务需求，又掌握大数据技术与管理的综合型人才。