行业分析编辑招聘

招聘有很多呢

所属部门：广州分公司

所属部门：广州分公司

所属部门：广州分公司

工作分析是指系统全面的确认工作整体，以便为管理活动提供各种有关工作方面的信息所进行的一系列的工作信息收集、分析和综合的过程。工作分析是人力资源管理工作的基础，其分析质量对其他人力资源管理模块具有举足轻重的影响。工作分析在人力资源管理中的位置，如下图所示：通过对工作输入、工作转换过程、工作输出、工作的关联特征、工作资源、工作环境背景等的分析，形成工作分析的结果——职务规范（也称作工作说明书）。职务规范包括工作识别信息、工作概要、工作职责和责任，以及任职资格的标准信息，为其他人力资源管理职能的使用提供方便。[编辑]工作分析的内容工作分析的内容包含三个部分：对工作内容及岗位需求的分析；对岗位、部门和组织结构的分析；对工作主体员工的分析。对工作内容的分析是指对产品（或服务）实现全过程及重要的辅助过程的分析，包括工作步骤、工作流程、工作规则、工作环境、工作设备、辅助手段等相关内容的分析；由于工作的复杂性、多样性和劳动分工使岗位、部门和组织结构成为必然，不同的行业和不同的业务都影响着岗位、部门和组织结构的设置，对岗位、部门和组织结构的分析包括对岗位名称、岗位内容、部门名称、部门职能、工作量及相互关系等内容的分析；对工作主体员工的分析包括对员工年龄、性别、爱好、经验、知识和技能等各方面的分析，通过分析有助于把握和了解员工的知识结构、兴趣爱好和职业倾向等内容。在此基础上，企业可以根据员工特点将其安排到最适合他的工作岗位上，达到人尽其才的目的。[编辑]工作分析的方法工作分析的方法主要有职务分析问卷（PAQ）、工作要素法（JEM）、管理人员职务描述问卷（MPDQ）、临界特质分析系统（TTAS）、职能工作分析法（FJA）、任务清单分析系统（TIA）和关键事件法（CIM），如下图所示：[编辑]工作分析的原因在人力资源开发管理过程中，工作分析具有十分重要的意义：1、工作分析是整个人事管理科学化的基础。2、工作分析是提高现实社会生产力的需要。3、工作分析是企业现代化管理的客观需要。4、工作分析有助于实现量化管理。5、工作分析有助于工作评价、人员测评与定员管理及人力规划与职业发展的科学化、规范化与标准化。6、对于劳动人事管理科研工作者而言，工作分析也是不可缺少的。[编辑]工作分析的作用1、工作分析为人力资源开发与管理活动提供依据1）工作分析为人力资源规划提供了必要的信息；2）工作分析为人员的招聘录用提供了明确的标准；3）工作分析为人员的培训开发提供了明确的依据；4）工作分析为科学的绩效管理提供了帮助；5）工作分析为制定公平合理的薪酬政策奠定了基础 ；2、工作分析为组织职能的实现奠定基础1）通过工作分析，有助于员工本人反省和审查自己的工作内容和工作行为，以帮助员工自觉主动地寻找工作中存在的问题，圆满实现职位对于组织的贡献；2）在工作分析过程中，人力资源管理人员能够充分地了解组织经营的各个重要业务环节和业务流程，从而有助于人力资源管理职能真正上升到战略地位；3）借助于工作分析，组织的最高经营管理层能够充分了解每一个工作岗位上的人目前所做的工作，可以发现职位之间的职责交叉和职责空缺现象，并通过职位及时调整，提高组织的协同效应。3.岗位分析对绩效考核的作用[1]这一作用主要体现在两个方面：一是岗位说明书的必备项目中有“岗位关键业绩指标”这一内容，这些指标指明了对该岗位任职人员应从哪些角度进行考核，也指出了岗位上人员的努力方向，而绩效考核方案的起点就是部门和岗位考核指标的选择，广义的工作分析甚至可以提供部门的关键绩效指标；二是岗位说明书如果包含了“沟通关系”这一项目，就可以清晰地指明绩效考核的主体与考核层级关系，因为沟通关系中明确了汇报、指导与监督关系。4.岗位分析对人员招聘与录用的作用[1]岗位说明书的另一项必备内容就是岗位任职资格条件，这些条件既是岗位评价的重要参考要素，又天然是该岗位人员空缺时设计招聘要求的基础。招聘广告中一般有空缺岗位的学历、工作经验、专业技术水平、能力方向、人格特征等要求，而这些内容在岗位说明书的任职资格条件项目中均可找到。5.岗位分析对员工培训与职业生涯设计的作用[1]企业员工培训的一个重要特点是具有强烈的导向性，这个导向的重要依据之一就是岗位说明书所规定的内容，尤其是岗位职责的要求、考核指标要求、能力要求等内容，在新员工培训中，新员工本岗位的说明书甚至能成为其必修教材之一。另外在对进行员工职业生涯设计时，岗位分析还可以提供职业发展的路径与具体要求。6.岗位分析对人力资源规划的作用[1]人力资源规划的核心工作是人力需求与供给的预测，在运用技能清单法、管理人员置换图、人力接续计划、马尔可夫矩阵法进行供给预测时，都离不开清晰的岗位层级关系和晋升、岗位转换关系，这些都是岗位说明书所应该规定的。在需求观测时，除了需要对人力资源数量预测，还需要对其质量要求进行预测，说明书中的任职资格条件就成为重要的参考。7.岗位分析对薪酬设计与管理的作用[1]工作评价是合理制定薪酬标准的基础，正确的工作评价则要求深入地理解各种工作的要求，这样才能根据它们对组织的价值大小进行排序。岗位分析通过了解各项工作的内容、工作所需要的技能、学历背景、工作的危险程度等因素确定工作相对于组织目标的价值，也可以作为决定合理薪酬的依据。岗位分析为薪酬管理提供相关的工作信息，通过工作差别确定薪酬差别，使薪酬结构与工作相挂钩，从而制定公平合理的薪资政策。8.岗位分析对组织分析的作用[1]岗位分析详细地说明了各个岗位的特点及要求，界定了工作的权责关系，明确了工作群之间的内在联系，从而奠定了组织结构设计的基础。通过岗位分析，尤其是广义的工作分析，可以全面揭示组织结构、层级关系对岗位工作的支持和影响，为组织结构的优化和再设计提供决策依据。另外，岗位分析还与劳动定编和定员工作有着非常紧密的联系。定编是指按照一定的人力资源管理程序，采用科学规范的方法，从组织经营战略目标出发，合理确定组织机构的结构、形式、规模以及人员数量的一种管理方法。定员是在定编的基础上，严格按照组织编制和岗位的要求，为组织每个岗位配备合适人选的过程。在现代企业管理中，只有不断地加强定编定员工作，组织才能实现组织机构的精简与统一，才能避免人力资源的浪费，最终实现组织的经营战略目标。如果组织的定编定员工作没有实际的成效，组织就很有可能出现机构臃肿、人员膨胀、效率低下、人浮于事的现象。9.岗位分析对直线管理者的作用[1]岗位分析对人力资源管理者的作用显然是非常重要的，对于直线管理者的作用也是不容忽视的。首先，它有利于直线管理者加深对工作流程的理解，及时发现工作中的不足，并可以及时针对工作流程进行改造创新，从而提高工作的效率或有效性。其次，工作分析可以使直线管理者更深入地明确工作中完成某项任务所应具备的技能，这有助于直线管理者在辅助人力资源部门进行人员招聘时真正发挥它的效能。最后，直线管理者还担负着对每一位雇员进行绩效评估，及时反馈并督促其改进绩效的职责，而绩效的评定标准以及绩效目标的设定是离不开每种工作所需完成的任务内容的，这也是与工作分析休戚相关的。[编辑]工作分析的原则1、系统性原则；2、动态性原则；3、目的性原则；4、经济性原则；5、职位性原则；6、应用性原则。[编辑]工作分析的实施过程1、筹划准备阶段1）确定分析目的；2）制定分析计划；3）组建分析小组；4）选择分析对象。2、信息搜集阶段1）收集背景资料•组织结构；•职业分类标准。2）确定信息类型；3）选择搜集方法；4）沟通搜集对象。3、资料分析阶段1）审查工作信息；2）分析工作信息。4、结果完成阶段5、应用反馈阶段[编辑]岗位分析的信息提供[2]岗位分析的质量主要取决于三个方面：一是工作信息提供者的选择；二是适当的分析方法的选择；三是合理的分析步骤的设计。其中第一点中，工作信息的提供者即岗位分析的主体选择决定了所收集信息的真实性，而人力资源管理专业人员要对各主体提出信息资料的规范性要求。一、岗位分析所需的资料岗位分析所需要的信息的类型和范围取决于岗位分析的目的、岗位分析的时间约束和预算约束等因素。资料的连贯性、精确性、可接受性是选择资料来源的决定性因素。因此相关工作的工作专家、工作执行者和管理监督者是主要的资料来源，而与待分析工作相关的下属和其他工作人员、顾客以及工作分析者则主要是对工作信息进行补充和筛选，另外，还可以参阅相关的工作分析资料、职业分类辞典等。岗位分析信息的主要类型参见下表[3]。工作分析所需要获得的有关资料包括：•工作活动资料，即各项工作实际发生的活动类型，如清洗、打字等；•人类行为资料，指与个人工作有关的人类行为资料，如体能消耗情况、行走距离长短、写作能力等；•工作器具资料，指工作中所使用的机器、工具、设备以及辅助器械的情况；•绩效标准，即用数量或质量来反映的各种可以用来评价工作成绩的方法；•相关条件，指工作环境、工作进度、组织行为规范以及各种财务性和非财务性奖励措施；•人员条件，指与工作相关的知识、技能以及个人特征等，包括学历、训练背景、工作经验、性格、兴趣和身体特征等。二、岗位分析的主体决定岗位分析信息质量的还有一个重要因素，就是向谁来获得这些信息，即岗位分析主体的选择。搜集岗位分析信息工作通常由实际承担的工作的人员，工作承担人员的直接上级主管，以及一名人力资源管理专家来共同进行。1.利用不同主体的顺序。同产的做法是:首先由人力资源管理专家(人力资源管理者、工作分析专家或咨询人员等)观察和分析正在被进行中的工作，然后编写处一份岗位说明书和一份岗位规范，员工及其直接上级主管也要参与此项工作，例如，可能会被要求主管人员填写问卷，在问卷中列举处下属的主要工作活动。最后，由承担工作的员工及其上级主管来审查和修改所岗位分析人员编写出的反映他们工作活动和职责的那些结论性的描述。这样，岗位分析获得就需要由人力资源管理专家、组织管理人员和普通员工通过共同努力与合作完成。2.不同主体的优劣。实际工作的任职人员、该岗位的直接主管和外部人力资源管理专家这三种主体在提供岗位分析信息时各有的优缺点，所以应综合利益，但以岗位主管为主。这三者的优缺点见下表。无论是选择手机岗位分析信息的方法还是选择负责收集信息的主体，都决定于多种因素，包括需要分析的岗位的特点和浮渣性，任职者对外部分析人员的接受程度，以及分析的最终目的。其中最重要的是考虑岗位分析的目的。另外，对收集信息的人员的选择要比对收集信息方法的选择更为重要。[编辑]工作分析信息的分类•员工需要做什么？(what activities)•工作将在什么时间完成？(when)•工作在哪里完成？where--working condition•员工如何完成工作？How? Machine tools•为什么要完成此项工作？(why)•谁来完成此项工作？Who?[编辑]工作分析信息收集主要方法一、工作实践法•可以了解工作的实际任务以及该工作对人的体力、环境、社会等方面的要求•观察、记录与核实工作负荷与工作条件•观察、记录、分析工作流程及工作方法，找出不合理之处•适用于短期内可以掌握的工作，而对于需要大量训练才能掌握或有危险的工作，不宜采用此法。如飞行员的工作，脑外科医生、战地记者二、访谈法•个别访谈法(individual interview)•集体访谈法(group interview)•主管访谈法(supervisor interview)(1)访谈原则及标准•所提问题和职务分析的目的有关•职务分析人员语言表达要清楚、含义准确•所提问题必须清晰、明确，不能太含蓄•所提问题和谈话内容不能超出被谈话人的知识和信息范围•所提问题和谈话内容不能引起被谈话人的不满或涉及被谈话人的隐私(麦考米克，1979)(2)成功访谈要点•预先准备访谈提纲；•与主管密切配合，找到最了解工作内容、最能客观描述工作职责的员工•尽快与被访谈者建立融洽的感情氛围；（知道对方姓名、明确访谈目的及选择对方的原因）•访谈中应该避免使用生僻的专业词汇•访谈者应只能被动地接受信息•就工作问题与员工有不同意见，不要与员工争论•员工对组织或主管有抱怨，也不要介入•不要流露出对某一岗位薪酬的特殊兴趣•不要对工作方法与组织的改进提出任何批评与建议•请员工将工作活动与职责按照时间顺序或重要程度顺序排列，这样就能够避免一些重要的事情被忽略•访谈结束后，将收集到的信息请任职者和主管阅读，以便修正；(3)访谈法的优缺点优点：•一种被广泛采用、相对简单、便捷的搜集信息的方法，而且适用面较广，尤其是用来达到编制工作描述的目的；•经常被作为其他信息收集方法的辅助，如当问卷填写不清楚、观察员工工作时存在问题等；◦通过访谈能探察到一些不为管理层知晓的内容，如工作态度、工作动机等较深层次的东西或一些管理问题；•方式亲切，能拉近访谈者与员工的关系；缺点：•对访谈者技巧要求高，如运用不当可能影响信息收集的质量；不能作为工作分析的唯一方法•信息失真--害怕效率革命而带来薪酬变化;•打断被访问人员的正常工作，有可能造成生产的损失;•可能会因问题不够明确或不够准确而造成双方误解或信息失真（4）访谈法的典型提问方式尽管访谈法有其不足，但还是被广泛的使用着。下面是一些在访谈时所运用的典型提问方法：•你所做的是一种什么样的工作？•你所在职位的主要职责工作是什么？你又是如何处理的呢？•你的工作环境与别人的有什么不同呢？•做这项工作所需具备的教育程度、工作经历、技能是怎样的？它要你必须具有什么样的文凭或工作许可证？•你都参加些什么活动？•这种工作的职责和任务是什么？你所从事的工作的基本职责是什么？说明你工作绩效的标准有哪些？•你真正参与的活动都包括哪些?•你的责任是什么？你的工作环境和工作条件是怎样的？•工作对身体的要求是怎样的？工作对情绪和脑力的要求又是怎样的？•工作对安全和健康的影响如何？•在工作中你有可能会受到身体伤害吗？你在工作时会暴露于非正常工作条件下吗？运用访谈法进行工作分析时可以提出的问题还远不止这些。一般认为，富有成效的访谈是根据一张结构合理或可以加以核正、对比的问卷来进行。这种工作分析问卷包括了一系列与以下内容有关的信息：工作的总体目的；监督职责；工作责任；对教育、经历、技能等的要求等。工作分析人员在运用这种问卷表格来搜集信息时，既可以通过观察工作的实际进行情况来自行填写，也可以先由承担工作的人填写，然后由工作分析人员来加以整理。三、问卷调查法优点：•能够从众多员工处迅速得到信息，节省时间和人力，费用低•员工填写工作信息的时间较为宽裕，不会影响工作时间•适用于在短时间内对大量人员进行调查的情形•结构化问卷所得到的结果可由计算机处理缺点：•问卷的设计需要花费时间、人力和物力，费用较高•单向沟通方式，所提问题可能部分地不为员工理解•可能造成，填写者不认真填写，影响调查的质量四、观察法（工作写实之一）1.观察法•被观察者的工作应相对稳定、工作场所也应相对固定，这样便于观察•适用于大量标准化的、周期较短的以体力活动为主的工作如组装线工人、会计员，而不适用于脑力活动为主的工作如律师、设计工程师等工作•观察者尽可能不要引起被观察者的注意，也不要干扰被观察者的工作，否则可能引起霍桑效应•对于不能通过观察法得到的信息，应辅以其他形式如访谈法来获得•观察前要有详细的观察提纲•可以采用瞬间观察，也可以定时观察2.观察法的优缺点[4]•操作较灵活、简单易行；•直观、真实，能给岗位分析人员直接的感受，因而所获得的信息资料也较准确；•可以了解广泛的信息，如工作活动内容、工作中的正式行为和非正式行为，工作人员的士气等。五、日志法（工作写实之一）1.日志法•若运用得好，能获得大量的、更为准确的信息•前期直接成本小•收集信息可能较凌乱，整理工作复杂•加大员工工作的负担•也存在夸大自己工作重要性的倾向2.日志法的优缺点[4]优点：•由于工作日志应是在工作不知觉状态下的忠实记录，因而资料来源比较可靠；•工作记录本身非常翔实，提供的信息充分。缺点：•需要积累的周期较长，时间成本高；•资料口径可能与岗位分析的要求有出入，因而整理的工作量较大；•工作日志往往有夸大的倾向，不利于信息的收集。六、关键事件法（CIM）•收集、整理导致某工作成功或失败的典型、重要的行为特征或事件•它是在二战期间由John Flanagan开发出来用于识别各种军事环境下提高人绩效的关键性因素的手段和方法；John C. Flanagan认为，关键事件法应对完成工作的关键性行为进行记录，以反映特别有效和特别无效的工作行为•需要专业人员对“关键性事件和行为”进行信息收集、概括和分类；•没有提供对工作全方位的描述和探察，主要应用于下述工作分析目的：绩效评价标准的建立（BARS）、甄选标准的开发以及培训员工七、亲验法[4]亲验法顾名思义，就是工作分析人员到被分析的岗位中实际体验岗位工作特点，获得岗位信息的一种方法。但这种方法的局限性非常大，观察法所具备的限制条件它都存在，因而这是一种用的很少的方法，经常作为其他方法的一种补充，对难以用语言表达的一些特殊岗位或验证一些信息时才使用。1.亲验法的操作要点。主要有：•亲验的岗位是岗位分析人员能够理解和从事的；•在岗位亲验时不能给实际工作造成障碍；•较危险的岗位不适合亲验；•对岗位的体验要保证一定的周期，以对岗位的相关信息有完整的认识。2.亲验法的优缺点优点：•准确了解工作的实际任务和在体力、环境、社会方面的要求；•直接、直观，信息的可靠性高；•可以弥补不善表达的员工对岗位信息提供的不足；•可以收集到观察法所不能体会到的内容。缺点：（1）时间成本很高，效率低下；（2）对于岗位分析人员的专业性要求太高，许多岗位根本无法亲验；（3）体验周期和时间都不易确定。[编辑]不同目标导向的工作分析侧重点提高工作分析的效果与效率的方法之一是建立职位分析的目标导向，即指明确规定工作分析的具体目标及其成果的具体用途，以此作为构建整体职位分析系统的依据。不同目标导向的工作分析其强调的重点亦有所不同：[编辑]工作分析的时机企业若要进行工作分析，应在什么情况下才显得合理和必要呢？一般来说，当企业出现以下情况时，就表明非常需要进行工作分析：1、缺乏明确、完善的书面职位说明，员工对职位的职责和要求不清楚；2、虽然有书面的职位说明，但工作说明书所描述的员工从事某项工作的具体内容和完成该工作所需具备的各项知识、技能和能力与实际情况不符，很难遵照它去执行；3、经常出现推诿扯皮、职责不清或决策困难的现象；4、当需要招聘某个职位上的新员工时，发现很难确定用人的标准；5、当需要对在职人员进行培训时，发现很难确定培训的需求；6、当需要建立新的薪酬体系时，无法对各个职位的价值进行评估；7、当需要对员工的绩效进行考核时，发现没有根据职位确定考核的标准；8、新技术的出现，导致工作流程的变革和调整。

随着大数据时代的到来，在大数据观念不断提出的今天，加强数据大数据挖掘及时的应用已成为大势所趋。大数据分析处理是对纷繁复杂的海量数据价值的提炼，而其中最有价值的地方在于预测性分析，即可以通过数据可视化、统计模式识别、数据描述等数据挖掘形式帮助数据科学家更好的理解数据，根据数据挖掘的结果得出预测性决策。其中主要工作环节参见《大数据分析流程是什么》。这些工作环节都需要什么技术?今天AAA教育小编姐姐简单分析一下大数据分析技术：

一、大数据流程图

二、大数据各个环节主要技术

2.1、数据处理主要技术

Sqoop：(发音：skup)作为一款开源的离线数据传输工具，主要用于Hadoop(Hive) 与传统数据库(MySql,PostgreSQL)间的数据传递。它可以将一个关系数据库中数据导入Hadoop的HDFS中，也可以将HDFS中的数据导入关系型数据库中。

Flume：实时数据采集的一个开源框架，它是Cloudera提供的一个高可用用的、高可靠、分布式的海量日志采集、聚合和传输的系统。目前已经是Apache的顶级子项目。使用Flume可以收集诸如日志、时间等数据并将这些数据集中存储起来供下游使用(尤其是数据流框架，例如Storm)。和Flume类似的另一个框架是Scribe(FaceBook开源的日志收集系统，它为日志的分布式收集、统一处理提供一个可扩展的、高容错的简单方案)

Kafka：通常来说Flume采集数据的速度和下游处理的速度通常不同步，因此实时平台架构都会用一个消息中间件来缓冲，而这方面最为流行和应用最为广泛的无疑是Kafka。它是由LinkedIn开发的一个分布式消息系统，以其可以水平扩展和高吞吐率而被广泛使用。目前主流的开源分布式处理系统(如Storm和Spark等)都支持与Kafka 集成。

Kafka是一个基于分布式的消息发布-订阅系统，特点是速度快、可扩展且持久。与其他消息发布-订阅系统类似，Kafka可在主题中保存消息的信息。生产者向主题写入数据，消费者从主题中读取数据。

作为一个分布式的、分区的、低延迟的、冗余的日志提交服务。和Kafka类似消息中间件开源产品还包括RabbiMQ、ActiveMQ、ZeroMQ等。

MapReduce：MapReduce是Google公司的核心计算模型，它将运行于大规模集群上的复杂并行计算过程高度抽象为两个函数：map和reduce。MapReduce最伟大之处在于其将处理大数据的能力赋予了普通开发人员，以至于普通开发人员即使不会任何的分布式编程知识，也能将自己的程序运行在分布式系统上处理海量数据。

Hive：MapReduce将处理大数据的能力赋予了普通开发人员，而Hive进一步将处理和分析大数据的能力赋予了实际的数据使用人员(数据开发工程师、数据分析师、算法工程师、和业务分析人员)。

Hive是由Facebook开发并贡献给Hadoop开源社区的，是一个建立在Hadoop体系结构上的一层SQL抽象。Hive提供了一些对Hadoop文件中数据集进行处理、查询、分析的工具。它支持类似于传统RDBMS的SQL语言的查询语言，一帮助那些熟悉SQL的用户处理和查询Hodoop在的数据，该查询语言称为Hive SQL。Hive SQL实际上先被SQL解析器解析，然后被Hive框架解析成一个MapReduce可执行计划，并按照该计划生产MapReduce任务后交给Hadoop集群处理。

Spark：尽管MapReduce和Hive能完成海量数据的大多数批处理工作，并且在打数据时代称为企业大数据处理的首选技术，但是其数据查询的延迟一直被诟病，而且也非常不适合迭代计算和DAG(有限无环图)计算。由于Spark具有可伸缩、基于内存计算能特点，且可以直接读写Hadoop上任何格式的数据，较好地满足了数据即时查询和迭代分析的需求，因此变得越来越流行。

Spark是UC Berkeley AMP Lab(加州大学伯克利分校的 AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，它拥有Hadoop MapReduce所具有的优点，但不同MapReduce的是，Job中间输出结果可以保存在内存中，从而不需要再读写HDFS ，因此能更好适用于数据挖掘和机器学习等需要迭代的MapReduce算法。

Spark也提供类Live的SQL接口，即Spark SQL，来方便数据人员处理和分析数据。

Spark还有用于处理实时数据的流计算框架Spark Streaming,其基本原理是将实时流数据分成小的时间片段(秒或几百毫秒)，以类似Spark离线批处理的方式来处理这小部分数据。

Storm：MapReduce、Hive和Spark是离线和准实时数据处理的主要工具，而Storm是实时处理数据的。

Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架。Storm对于实时计算的意义相当于Hadoop对于批处理的意义。Hadoop提供了Map和Reduce原语，使对数据进行批处理变得非常简单和优美。同样，Storm也对数据的实时计算提供了简单的Spout和Bolt原语。Storm集群表面上和Hadoop集群非常像，但是在Hadoop上面运行的是MapReduce的Job,而在Storm上面运行的是Topology(拓扑)。

Storm拓扑任务和Hadoop MapReduce任务一个非常关键的区别在于：1个MapReduce Job最终会结束，而一个Topology永远运行(除非显示的杀掉它)，所以实际上Storm等实时任务的资源使用相比离线MapReduce任务等要大很多，因为离线任务运行完就释放掉所使用的计算、内存等资源，而Storm等实时任务必须一直占有直到被显式的杀掉。Storm具有低延迟、分布式、可扩展、高容错等特性，可以保证消息不丢失，目前Storm, 类Storm或基于Storm抽象的框架技术是实时处理、流处理领域主要采用的技术。

Flink：在数据处理领域，批处理任务和实时流计算任务一般被认为是两种不同的任务，一个数据项目一般会被设计为只能处理其中一种任务，例如Storm只支持流处理任务，而MapReduce, Hive只支持批处理任务。

Apache Flink是一个同时面向分布式实时流处理和批量数据处理的开源数据平台，它能基于同一个Flink运行时(Flink Runtime),提供支持流处理和批处理两种类型应用的功能。Flink在实现流处理和批处理时，与传统的一些方案完全不同，它从另一个视角看待流处理和批处理，将二者统一起来。Flink完全支持流处理，批处理被作为一种特殊的流处理，只是它的数据流被定义为有界的而已。基于同一个Flink运行时，Flink分别提供了流处理和批处理API，而这两种API也是实现上层面向流处理、批处理类型应用框架的基础。

Beam：Google开源的Beam在Flink基础上更进了一步，不但希望统一批处理和流处理，而且希望统一大数据处理范式和标准。Apache Beam项目重点在于数据处理的的编程范式和接口定义，并不涉及具体执行引擎的实现。Apache Beam希望基于Beam开发的数据处理程序可以执行在任意的分布式计算引擎上。

Apache Beam主要由Beam SDK和Beam Runner组成，Beam SDK定义了开发分布式数据处理任务业务逻辑的API接口，生成的分布式数据处理任务Pipeline交给具体的Beam Runner执行引擎。Apache Flink目前支持的API是由Java语言实现的，它支持的底层执行引擎包括Apache Flink、Apache Spark和Google Cloud Flatform。

2.2、数据存储主要技术

HDFS：Hadoop Distributed File System,简称FDFS，是一个分布式文件系统。它有一定高度的容错性和高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS提供了一个高容错性和高吞吐量的海量数据存储解决方案。

在Hadoop的整个架构中，HDFS在MapReduce任务处理过程在中提供了对文件操作的和存储的的支持，MapReduce在HDFS基础上实现了任务的分发、跟踪和执行等工作，并收集结果，两者相互作用，共同完成了Hadoop分布式集群的主要任务。

HBase：HBase是一种构建在HDFS之上的分布式、面向列族的存储系统。在需要实时读写并随机访问超大规模数据集等场景下，HBase目前是市场上主流的技术选择。

HBase技术来源于Google论文《Bigtable ：一个结构化数据的分布式存储系统》。如同Bigtable利用了Google File System提供的分布式数据存储方式一样，HBase在HDFS之上提供了类似于Bigtable的能力。

HBase解决了传递数据库的单点性能极限。实际上，传统的数据库解决方案，尤其是关系型数据库也可以通过复制和分区的方法来提高单点性能极限，但这些都是后知后觉的，安装和维护都非常复杂。而HBase从另一个角度处理伸缩性的问题，即通过线性方式从下到上增加节点来进行扩展。HBase 不是关系型数据库，也不支持SQL，它的特性如下：

1、大：一个表可以有上亿上，上百万列。

2、面向列：面向列表(簇)的存储和权限控制，列(簇)独立检索。

3、稀疏：为空(null)的列不占用存储空间，因此表可以设计的非常稀疏。

4、无模式:：每一行都有一个可以排序的主键和任意多的列。列可以根据需求动态增加，同一张表中不同的行可以有截然不同的列。

5、数据多版本：每个单元的数据可以有多个版本，默认情况下，版本号字段分开，它是单元格插入时的时间戳。

6、数据类型单一：HBase中数据都是字符串，没有类型。

2.3、数据应用主要技术

数据有很多应用方式，如固定报表、即时分析、数据服务、数据分析、数据挖掘和机器学习等。下面说下即时分析Drill框架、数据分析R语言、机器学习TensorFlow框架。

Drill：Apache Drill是一个开源实时大数据分布式查询引擎，目前已成为Apache的顶级项目。Drill开源版本的Google Dremel。Dremel是Google的“交互式”数据分析系统，可以组建成规模上千的集群，处理PB级别的数据。

MapReduce处理数据一般在分钟甚至小时级别，而Dremel将处理时间缩短至秒级，即Drill是对MapReduce的有力补充。Drill兼容ANSI SQL语法作为接口，支持本地文件、HDFS、Hive、HBase、MongoDb作为存储的数据查询。文件格式支持Parquet、CSV、TSV以及Json这种无模式(schema-free)数据。所有这些数据都像传统数据库的表查询一样进行快速实时查询。

R语言：R是一种开源的数据分析解决方案。R流行原因如下：

1、R是自由软件：完全免费、开源。可在官方网站及其镜像中下载任何有关的安装程序、源代码、程序包及其源代码、文档资料，标准的安装文件自身就带有许多模块和内嵌统计函数，安装好后可以直接实现许多常用的统计功能。

2、R是一种可编程的语言：作为一个开放的统计编程环境，R语言的语法通俗易懂，而且目前大多数新的统计方法和技术都可以在R中找到。

3、R具有很强的互动性：除了图形输出在另外的窗口，它的熟入输出都是在一个窗口进行的，输入语法中如果有错马上会在窗口中给出提示，对以前输入过的命令有记忆功能，可以随时再现、编辑、修改以满足用户的需要，输出的图形可以直接保存为JPG、BMP、PNG等图片格式，还可以直接保存为PDF文件。此外，R语言和其它编程语言和数据库直接有很好的接口。

TensorFlow：TensorFlow是一个非常灵活的框架，它能够运行在个人电脑或服务器的单个/多个cpu和GPU上，甚至是移动设备上，它最早是为了研究机器学习和深度神经网络而开发的，后来因为通用而开源。

TensorFlow是基于数据流图的处理框架，TensorFlow节点表示数学运算，边表示运算节点之间的数据交互。TensorFlow从字母意义上来讲有两层含义：一是Tensor代表的是节点之间传递的数据，通常这个数据是一个多维度矩阵(multidimensional data arrays)或一维向量;二是Flow指的数据流，形象理解就是数据按照流的形式进入数据运算图的各个节点。

3、数据相关从业者和角色

4、数据埋点

后台数据库和日志文件一般只能满足常规的统计分析，对于具体的产品和项目来说，一般还要根据项目的目标和分析需求进行针对性的“数据埋点”工作，所谓埋点：就是在额外的正常功能逻辑上添加针对性的逻辑统计，即期望的事件是否发生，发生后应该记录那些信息，比如用户在当前页面是否用鼠标滚动页面、有关的页面区域是否曝光了、当前的用户操作的的时间是多少、停留时长多少、这些都需要前端工程师进行针对性的埋点才能满足有关的分析需求。

数据埋点工作一般由产品经理和分析师预先确定分析需求，然后由数据开发团队对接前端和后端开发完成具体的埋点工作。

通过以上的学习，对大数据分析技术有初步的认识，这些技术涉及到的工具《大数据分析十八般工具》，大家可以参考。

相关推荐：

《大数据分析师工作内容》、《转行大数据分析师后悔了》、《零基础学大数据分析现实吗》、《大数据分析要学什么》、《大数据分析方法》、《浅析大数据分析技术》、《大数据分析流程是什么》、《大数据分析十八般工具》、《大数据分析12大就业方向》、《资深讲师分享大数据分析师职业规划》、《学大数据分析培训多少钱》