大数据工程师需要具备哪些能力? 数学及统计学相关的背景;计算机编码能力;对特定应用领域或行业的知识。大数据工程师这个角色很重要的一点是,不能脱离市场,因为大数据只有和特定领域的应用结合起来才能产生价值。所以,在某个或多个垂直行业的经历能为应聘者积累对行业的认知,对于之后成为大数据工程师有很大帮助,因此这也是应聘这个岗位时较有说服力的加分项。大数据相关的技能很多,按照数据本身,可以分为数据获取、数据处理、数据分析、数据存储、数据挖掘,共5类。数据获取:日志收集 Scribe、Flume和爬虫等;数据处理:流式计算的storm, spark streaming、Hadoop、消息队列相关的如Kafka等;数据分析:HIVE、SPARK、基本算法、数据结构等;数据存储:HDFS等;数据挖掘:机器学习相关算法,聚类、时间序列、推荐系统、回归分析、文本挖掘、贝叶斯分类、神经网络等。希望对您有所帮助!~