发表服务
基于Spark的并行计算的研究.【摘要】：互联网信息技术的迅猛发展为人们的信息交流带来便利性的同时,也使得全球的数据量呈现爆发式的激增。.大数据的产生,需要对这些数据进行分类处理。.顺应大数据时代而出现的MapReduce分布式并行计算框架,由于其低门槛...
基Spark的社区发现算法并行化的研究及应用.Tag：.本文是一篇计算机论文研究，本文提出通过社交网络的社区发现算法构建通话社交网络上的家庭关系识别模型。.通过对现有的社区发现算法进行对比，本文选择Louvain算法作为家庭关系识别模型的社区发现算法...
中国科技论文在线基于Spark框架的CNM算法并行研究作者简介：郑思远（1994-），男，研究生，数据挖掘.E-mail:525084213@qq（北京邮电大学计算机院，北京，100876）行计算框架对CNM社团发现算法进行并行化实现。.利用Spark计算框架适用于迭代算法的特点，实现...
Tox知览论文网.1.1Spark对数据的操作方式.Tox知览论文网.Spark基于内存的计算方式，提高了在当前大数据环境下数据处理的实时性，同时具备了高容错性和高伸缩性，允许用户将其部署在大量廉价的硬件之上，形成集群[9]。.它和Hadoop2.X生态系统可以实现无缝的...
SparkMLlib并行训练原理.有了Spark分布式计算过程的基础，下面就可以更清楚的理解SparkMLlib并行训练的原理。.在所有主流的机器学习模型中，RandomForest的模型结构特点决定了其可以完全进行数据并行的模型训练，而GBDT的结构特点则决定了树之间只能进行串行的...
基于Spark的孤立森林算法并行化之软件工程研究.本文是一篇软件工程论文,笔者通过性能测试和扩展性测试,得出Spark-IForest在AUC指标上能够取得满意的效果，且在多核并行场景下，Spark-IForest在训练阶段和预测阶段的计算速度与单机版的Spark-IForest和Sklearn...
Spark并行计算内容总结（一）并行计算的简介并行计算：简单来讲，并行计算就是同时使用多个计算资源来解决一个计算问题，具有以下特点：一个问题被分解成为一系列可以并发执行的离散部分；每个部分可以进一步被分解成为一系列离散指令；
大数据导论第十一章CONTENTS目录PART05SparkGraphx的优势PART01分布式图计算PART06作业PART02SparkGraphx简介PART03Graphx实现PART04Graphx实例PART01分布式图计算分布式图计算数据并行与图并行计算1.数据并行系统像MapReduce和Spark等计算框架主要用于对数据集进行各种运算在数据内部之
spark查询39GB数据不要1s，10x的速度对比hadoop数据并行计算框架的基本能力，可以自动处理下面这些复杂度：scalabilitylocality-awareschedulingfaulttoleranceloadbalancingspark的提供了并行计算框架的基本能力（学习如何实现）、spark提供了抽象
集群计算引擎Spark中的内存优化研究与实现.冯琳.【摘要】：在迭代之间使用内存做数据传输的并行计算框架是当前的一个研究热点。.与传统的基于硬盘和网络的计算方式相比,使用内存可以减少数据传输的时间。.对于数据密集类型的任务，可以将运行时间...
基于Spark的并行计算的研究.【摘要】：互联网信息技术的迅猛发展为人们的信息交流带来便利性的同时,也使得全球的数据量呈现爆发式的激增。.大数据的产生,需要对这些数据进行分类处理。.顺应大数据时代而出现的MapReduce分布式并行计算框架,由于其低门槛...
基Spark的社区发现算法并行化的研究及应用.Tag：.本文是一篇计算机论文研究，本文提出通过社交网络的社区发现算法构建通话社交网络上的家庭关系识别模型。.通过对现有的社区发现算法进行对比，本文选择Louvain算法作为家庭关系识别模型的社区发现算法...
中国科技论文在线基于Spark框架的CNM算法并行研究作者简介：郑思远（1994-），男，研究生，数据挖掘.E-mail:525084213@qq（北京邮电大学计算机院，北京，100876）行计算框架对CNM社团发现算法进行并行化实现。.利用Spark计算框架适用于迭代算法的特点，实现...
Tox知览论文网.1.1Spark对数据的操作方式.Tox知览论文网.Spark基于内存的计算方式，提高了在当前大数据环境下数据处理的实时性，同时具备了高容错性和高伸缩性，允许用户将其部署在大量廉价的硬件之上，形成集群[9]。.它和Hadoop2.X生态系统可以实现无缝的...
SparkMLlib并行训练原理.有了Spark分布式计算过程的基础，下面就可以更清楚的理解SparkMLlib并行训练的原理。.在所有主流的机器学习模型中，RandomForest的模型结构特点决定了其可以完全进行数据并行的模型训练，而GBDT的结构特点则决定了树之间只能进行串行的...
基于Spark的孤立森林算法并行化之软件工程研究.本文是一篇软件工程论文,笔者通过性能测试和扩展性测试,得出Spark-IForest在AUC指标上能够取得满意的效果，且在多核并行场景下，Spark-IForest在训练阶段和预测阶段的计算速度与单机版的Spark-IForest和Sklearn...
Spark并行计算内容总结（一）并行计算的简介并行计算：简单来讲，并行计算就是同时使用多个计算资源来解决一个计算问题，具有以下特点：一个问题被分解成为一系列可以并发执行的离散部分；每个部分可以进一步被分解成为一系列离散指令；
大数据导论第十一章CONTENTS目录PART05SparkGraphx的优势PART01分布式图计算PART06作业PART02SparkGraphx简介PART03Graphx实现PART04Graphx实例PART01分布式图计算分布式图计算数据并行与图并行计算1.数据并行系统像MapReduce和Spark等计算框架主要用于对数据集进行各种运算在数据内部之
spark查询39GB数据不要1s，10x的速度对比hadoop数据并行计算框架的基本能力，可以自动处理下面这些复杂度：scalabilitylocality-awareschedulingfaulttoleranceloadbalancingspark的提供了并行计算框架的基本能力（学习如何实现）、spark提供了抽象
集群计算引擎Spark中的内存优化研究与实现.冯琳.【摘要】：在迭代之间使用内存做数据传输的并行计算框架是当前的一个研究热点。.与传统的基于硬盘和网络的计算方式相比,使用内存可以减少数据传输的时间。.对于数据密集类型的任务，可以将运行时间...
发表服务