数据挖掘的算法及技术的应用的研究论文
摘要： 数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中发现隐含的、规律性的、人们事先未知的, 但又是潜在有用的并且最终可被理解的信息和知识的非平凡过程。任何有数据管理和知识发现需求的地方都可以借助数据挖掘技术来解决问题。本文对数据挖掘的算法以及数据挖掘技术的应用展开研究, 论文对数据挖掘技术的应用做了有益的研究。
关键词： 数据挖掘; 技术; 应用;
引言: 数据挖掘技术是人们长期对数据库技术进行研究和开发的结果。起初各种商业数据是存储在计算机的数据库中的, 然后发展到可对数据库进行查询和访问, 进而发展到对数据库的即时遍历。数据挖掘使数据库技术进入了一个更高级的阶段, 它不仅能对过去的数据进行查询和遍历, 并且能够找出过去数据之间的潜在联系, 从而促进信息的传递。
一、数据挖掘概述
数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中发现隐含的、规律性的、人们事先未知的, 但又是潜在有用的并且最终可被理解的信息和知识的非平凡过程。
二、数据挖掘的基本过程
(1) 数据选择:选择与目标相关的数据进行数据挖掘。根据不同的数据挖掘目标, 对数据进行处理, 不仅可以排除不必要的数据干扰, 还可以极大地提高数据挖掘的效率。 (2) 数据预处理:主要进行数据清理、数据集成和变换、数据归约、离散化和概念分层生成。 (3) 模式发现:从数据中发现用户感兴趣的模式的过程.是知识发现的主要的处理过程。 (4) 模式评估:通过某种度量得出真正代表知识的模式。一般来说企业进行数据挖掘主要遵循以下流程——准备数据, 即收集数据并进行积累, 此时企业就需要知道其所需要的是什么样的数据, 并通过分类、编辑、清洗、预处理得到客观明确的目标数据。数据挖掘这是最为关键的步骤, 主要是针对预处理后的数据进行进一步的挖掘, 取得更加客观准确的数据, 方能引入决策之中, 不同的企业可能采取的数据挖掘技术不同, 但在当前来看暂时脱离不了上述的挖掘方法。当然随着技术的进步, 大数据必定会进一步成为企业的立身之本, 在当前已经在很多领域得以应用。如市场营销, 这是数据挖掘应用最早的领域, 旨在挖掘用户消费习惯, 分析用户消费特征进而进行精准营销。就以令人深恶痛绝的弹窗广告来说, 当消费者有网购习惯并在网络上搜索喜爱的产品, 当再一次进行搜索时, 就会弹出很多针对消费者消费习惯的商品。
三、数据挖掘方法
1、聚集发现。
聚集是把整个数据库分成不同的群组。它的目的是要群与群之间差别很明显.而同一个群之间的数据尽量相似.聚集在电子商务上的典型应用是帮助市场分析人员从客户基本库中发现不同的客户群, 并且用购买模式来刻画不同客户群的特征。此外聚类分析可以作为其它算法 (如特征和分类等) 的预处理步骤, 这些算法再在生成的簇上进行处理。与分类不同, 在开始聚集之前你不知道要把数据分成几组, 也不知道怎么分 (依照哪几个变量) .因此在聚集之后要有一个对业务很熟悉的人来解释这样分群的意义。很多情况下一次聚集你得到的分群对你的业务来说可能并不好, 这时你需要删除或增加变量以影响分群的方式, 经过几次反复之后才能最终得到一个理想的结果.聚类方法主要有两类, 包括统计方法和神经网络方法.自组织神经网络方法和K-均值是比较常用的`聚集算法。
2、决策树。
这在解决归类与预测上能力极强, 通过一系列的问题组成法则并表达出来, 然后经过不断询问问题导出所需的结果。典型的决策树顶端是一个树根, 底部拥有许多树叶, 记录分解成不同的子集, 每个子集可能包含一个简单法则。
四、数据挖掘的应用领域
4.1市场营销
市场销售数据采掘在销售业上的应用可分为两类:数据库销售和篮子数据分析。前者的任务是通过交互式查询、数据分割和模型预测等方法来选择潜在的顾客以便向它们推销产品, 而不是像以前那样盲目地选择顾客推销;后者的任务是分析市场销售数据以识别顾客的购买行为模式, 从而帮助确定商店货架的布局排放以促销某些商品。
4.2金融投资
典型的金融分析领域有投资评估和股票交易市场预测, 分析方法一般采用模型预测法。这方面的系统有Fidelity Stock Selector, LBS Capital Management。前者的任务是使用神经网络模型选择投资, 后者则使用了专家系统、神经网络和基因算法技术辅助管理多达6亿美元的有价证券。
结论:数据挖掘是一种新兴的智能信息处理技术。随着相关信息技术的迅猛发展, 数据挖掘的应用领域不断地拓宽和深入, 特别是在电信、军事、生物工程和商业智能等方面的应用将成为新的研究热点。同时, 数据挖掘应用也面临着许多技术上的挑战, 如何对复杂类型的数据进行挖掘, 数据挖掘与数据库、数据仓库和Web技术等技术的集成问题, 以及数据挖掘的可视化和数据质量等问题都有待于进一步研究和探索。
参考文献
[1]孟强, 李海晨.Web数据挖掘技术及应用研究[J].电脑与信息技术, 2017, 25 (1) :59-62.
[2]高海峰.智能交通系统中数据挖掘技术的应用研究[J].数字技术与应用, 2016 (5) :108-108.
在FPGA上快速实现MD5算法的新方法论文
摘 要 文章介绍了一种在FPGA上快速实现MD5算法的新方法，给出了优化设计的原理、实现的具体方法及其重要模块的设计实现方案。
关键词 MD5；FPGA；Verilog语言；集成电路；关键路径
1 引言
随着电子商务和网络通信的发展，网络信息安全的重要性越来越显著，信息加密、数字签名、数据的完整性认证、身份验证等成为信息安全领域的重要内容。MD5算法本身是为数字签名应用而设计的，随后也应用在信息验证技术当中。作为应用最广泛的安全散列算法，MD5算法的高效实现就成为研究的需要，MD5算法本身可以采用软件实现，但其性能受到处理器件性能的制约不能满足网络通信带宽日益增长的要求，因而通过硬件实现高速MD5 运算就成为需要。
2 MD5算法介绍
MD5 算法可以对任何长度不超过 264二进制位的消息产生128 位的单向散列消息摘要输出， RFC1321 标准中的MD5 算法主要步骤如下：
在一些初始化处理后，MD5以512位分组来处理输入文本，每一分组又划分为16个32位子分组。算法的输出由四个32位分组组成，将它们级联形成一个128位散列值。
（1）附加填充比特：填充消息使其长度恰好为一个比512位的倍数仅小64位的数。即对报文进行填充使报文的长度(比特数)与448模512同余。填充方法是附一个1在消息后面接所要求的多个比特0。
（2）附加长度值：在其后附上64位的消息长度（填充前）。如果消息长度大于 264，仅使用该长度的低64比特。这样，该域包含的长度值为初始长度模264 的值。
这两步的作用是使消息长度恰好是512位的整数倍（算法的其余部分要求如此），同时确保不同的消息在填充后不相同。
（3）初始化寄存器：四个32位初始化变量为：
它们也被称为链接变量（chaining variable）
（4）进行算法的主循环：这一步是算法的核心，它是一个包含四个大循环的64步函数，四个大循环结构相同，但每次使用的逻辑函数不同，每一个大循环由对512比特的16步操作组成，即每16步为一轮大循环。
每次操作如下(设 Ai+1、Bi+1 、Ci+1 、Di+1 为第 +1个时钟周期时打入寄存器的值)：
以一下是每轮中用到的四个非线性函数（每轮一个）。
常数ti可以如下选择：在第i步中，ti是4294967296*abs(sin(i))的整数部分，i的单位是弧度。Wi是512位消息分组中的一个，Si是每次循环移位的次数。对每次而言也是固定的常数。
（5）结果输出：所有64步完成之后，将第64步的输出加到四个初始化变量上作为新的初始化变量，进行下一个512比特分组的运算，直到所有分组处理完毕，单次操作图如下：
图1. MD5算法单步操作图
3 算法优化
由上图可以看到，硬件实现时，MD5算法每一步操作中的关键路径在于B的求取（其他三个变量都是直接传递），这个关键路径包括了四个模 232加法运算、三输入变量的逻辑运算、"两个查找表运算及一个循环左移运算，而在FPGA设计中，加法运算最为耗时，四个加法运算至少需要三个加法器级联完成，加法运算严重制约了整个操作的速度，可见要加快算法运行速度就必须在简化这一关键路径上下工夫，经过观察我们发现，在
中 对每个周期都是已知的常数，是输入的512比特的一个32位分组，这样，在512比特输入初始化完成后，也可看作固定常数，
Ai是第i时钟周期里寄存器D 的值，而 Di的值又是第i-1周期里的Ci-1 ，即Ai 的`值是第i-1周期里Ci-1的值。
若在第i周期设中间寄存器变量 ，并令
那么在第i+1周期，
就可以表示为
操作就可以用下面几个式子代替：
其中， Ai+1没有参与任何运算，因此上式可以接着化简为
这样一来，原来一个周期内需要完成三级加法和相应的组合逻辑，现在只需要完成两级加法和部分组合逻辑就行了，大大提高了算法速度，只要在运算开始时加－个周期的初始化即可，简化后的系统框图如下：
图2. 改进后的单步操作图
4 结果比较
由上文中的算法分析部分不难看出，传统的实现方式关键路径是3级32比特加法器延迟和组合逻辑的延迟，而改进的实现方式减少了一级加法器的延迟，并把组合逻辑的延迟分散到不同路径上，因此，采用改进的实现方式大约可以将速度提高到原来的1.5倍左右。同时，为了实现数据的初始化，需要提前一个周期计算出寄存器A的值，因此整个算法的实现需要65个周期。我们采用 VerilogHDL 描述，选择Altera Stratix II EP2S15F672C5 FBGA芯片，在QuartusII6.0上验证通过。由于在FPGA中，连线延时也很关键，而这部分延时不能像加法延时那样通过预先计算并存储在寄存器中来消除一部分，所以实际的MD5改进算法与传统型相比较，速度的提高约为1.3，资源方面由于只是增加了一个时钟节拍，寄存器数量和组合逻辑并没有增加，所以改进型在资源方面和传统型相当。下表为算法改进前后在资源、频率、流量上的比较。
表1. 改进前后资源比较
5 结束语
由表1可见，改进型MD5算法实现，使用的资源并没有明显增加，但速度的改善十分明显，基本实现了用较少的资源得到较高速率的目标，证明了结构的正确性和合理性。实验结果也说明，这种利用寄存器来减少加法器级联从而减少关键路径的实现方法也可用于一般的FPGA硬件设计中。
参考文献
[1] R.Rivest. The MD5 Message-Digest Algorithm，RFC1321 1992。
[2] Jarvinen K， Tommiska M，Skytta J.Hardware implementation analysis of the MD5 hash algorithm.System Sciences，2005.HICSS’05.Proceedings of the 38th Annual Hawaii International conference on 03-06 Jan.2005:298
[3] Bruce Schneier. 应用密码学.北京：机械工业出版社，2000：188～194
[4] William Stallings. 密码编码学与网络安全：原理与实践.北京：电子工业出版社，2001: 216～222。
[5] 夏宇闻.Verilog 数字系统设计教程.航空航天大学出版社，2005
【中文摘要】随着信息社会和科学技术的发展
,
计算机在日常生
活中起着越来越重要的作用。而算法是计算机工作的基础
,
了解算法
知识及其思想成为现代社会每一个公民所应具备的基本素养。
在许多
发达国家
,
算法知识早已成为中学教材的重要内容。
2003
年
4
月教育
部颁布《普通高中数学课程标准
(
试验
)
》
,
新课程开始陆续实施。作
为新课程中首次出现的内容之一
,
算法的教学问题被人们所关注。湖
北省于
2010
年才第一次进行必修
3(
含算法初步的内容
)
的教学。由
于算法内容对刚实行新课改地区的中学数学老师来说是比较陌生的
,
心理上存在着畏惧情绪
,
在实际教学中缺少有效的教学指导
,
因此给
他们的教学带来了全新的挑战。
本文研究了国内外关于算法教学的研
究及教学设计理论的发展
,
重点是国内的“双主”教学设计与“以活
动为中心”
的教学设计
,
对高中数学算法初步的内容进行了功能分析。
结合教学实际
,
对算法初步的部分内容进行了教学设计。旨在为自己
及同行的教学提供一个有益的探索与尝试。
本文所给出算法设计方案
只是初步的
,
有待于在今后的教学实践中进一步检验完善。
【英文摘要】
Algorithm is an ancient concept,with the
development
of
computational
science,algorithm
has
become
more
and more important.The idea of Algorithm has already become a
mathematical quality for modern citizens. In many developed
countries, Algorithm has become an important part in senior
教研专区全新登场
教学设计教学方法课题研究教育论文日常工作
high
school
teaching.In
April
2003,
The
Mathematics
Curriculum
Standard
of
High School
began
to
be
carried
on in our
country,
and algorithm has appeared in the text-books of high school
mathematics. But the problem of teac...
【关键词】算法
功能分析
教学设计
【英文关键词】
algorithm function analysis instructional
design
【目录】高中数学算法初步的功能分析及教学设计
摘要
4-5
ABSTRACT
5
1
绪论
8-11
1.1
研究问题的提
出
8-9
1.2
研究意义
9-10
1.2.1
研究的理论意义
9
1.2.2
研究的实践价值
9-10
1.3
研究方法
10-11
2
研究综述
11-18
2.1
算法的研究综述
11-14
2.1.1
国外的算法研究
11-13
2.1.2
国内的算
法研究
13-14
2.2
教学设计的相关研究综述
14-18
2.2.1
国外教学设计理论的发展
14-16
2.2.2
国内教学设计理论的发展
16-18
3
算法初步的功能分析
18-20
3.1
有助于提高学生的信息素养
18
3.2
有助于
培养学生的逻辑思维与创造性思维
18-19
3.3
有助于发扬优
秀的算法传统
19-20
4
算法初步的教学设计
20-40
4.1
算法初步的教学设计策略
20-21
4.1.1
以内容分析和学情分
析为起点
20
4.1.2
以现代信息技术为辅助手段
20
4.1.3
以思维训练为目的
20
4.1.4
以数学文化为
驱动力
20-21
4.2
算法初步的教学设计案例
21-40
4.2.1
算法概念的教学设计
21-24
4.2.2
程序
框图与算法基本逻辑结构的教学设计
24-29
4.2.3
基本算法
语句的教学设计
29-32
4.2.4
循环语句的教学设计
32-35
4.2.5
秦九韶算法的教学设计
35-40
5
教学建
议及需要进一步研究的问题
40-42
5.1
教学建议
40-41
5.2
需要进一步研究的问题
41-42
参考文献
42-45
附录
A
：攻读硕士期间发表的论文
45-46
附录
B
：听课笔记节选
46-50
致谢
50
数学上的算法已是头绪纷繁———加法，减法，乘法，除法，平方，开方，对数┉┉一连串的读下来，已经让人头痛，那人生呢？如果我再问你人生的算法是什么呢？
人生中种种悲欢离合，喜怒哀乐，复杂至极，但我始终认为，人生的算法应该是最基础最平实的加法，是我们每个人对于算法最初的映象，人生应该是一个加法算试。
做加法，需要我们向人生的算式中加入责任的数值，这是算式最基础的几个决定结果“份量”的大数字，你的人生会输出一个两位数，三位数还是四位数甚或以上的结果，决定于这个最“压秤”的数值。
5．12汶川大地震后，网上渐渐开始痛批“范跑跑”，这名“老师”在地震到来时抢先冲出教室不管学生安危的做法激起人们强烈的反感。而当他在网上颇有几分得意的宣扬那引人唾弃的“正常人都会这么做”理论时，在北川，一位悲恸的妇人正在丈夫灵堂上痛哭失“我听人说有个老师扑在四个学生身上……死了……我就想可能是你……”这两位老师，品行高下一望便知，他们人生的最后价值，取决于他们在算式中累加了多少责任，人民教师的职责的份量，使得一个人的生命重于泰山；而另一个，人生的结果只会约等于零。
做加法，还需要我们在算式中累加爱的数值。每一分每一秒的积累，在一个微笑，一次谅解，一个怀抱，一个亲吻里寻 它的影子，为自己也为他人叠加爱的份量，那么到最后，当人生算法即将穷尽时，就一定可以得出爱的真谛与生的喜悦。
哪位先哲说过“无论什么样的爱，无论多么微小和难以察觉，都是伟大的。”在生命中积蕴爱的温暖，对爱人，对亲人，对朋友，乃至对每一朵漂亮的花儿，每一片金黄的叶，每一次的晨曦与晚霞。人生的算式，会有很大的变化，会有更美丽的过程与更深刻的结果。
做加法，不是让人生加上压力，金钱，权势这些“虚数”，而是去发现和探索生活的美好，去恪守和尊重自己的职责，去不断用真正的“实数”完善，填充这个算式，那么到生命的尽头，就会获得一个很重的结果和一个很轻很轻的美丽心灵。
请尝试着，在人生中做加法吧！那一个个不起眼的小小加号里，有最深刻的内含和最朴素的美丽。
史丰收计算法
演练实例一
速 算 法 演 练 实 例
Example of Rapid Calculation in Practice
○史丰收速算法易学易用，算法是从高位数算起，记着史教授总结了的26句口诀（这些口诀不需死背，而是合乎科学规律，相互连系），用来表示一位数乘多位数的进位规律，掌握了这些口诀和一些具体法则，就能快速进行加、减、乘、除、乘方、开方、分数、函数、对数…等运算。
□本文针对乘法举例说明
○速算法和传统乘法一样，均需逐位地处理乘数的每位数字，我们把被乘数中正在处理的那个数位称为「本位」，而从本位右侧第一位到最末位所表示的数称「后位数」。本位被乘以后，只取乘积的个位数，此即「本个」，而本位的后位数与乘数相乘后要进位的数就是「后进」。
○乘积的每位数是由「本个加后进」和的个位数即--
□本位积=（本个十后进）之和的个位数
○那么我们演算时要由左而右地逐位求本个与后进，然后相加再取其个位数。现在，就以右例具体说明演算时的思维活动。
（例题） 被乘数首位前补0，列出算式：
0847536×2=1695072
乘数为2的进位规律是「2满5进1」
0×2本个0，后位8，后进1，得1
8×2本个6，后位4，不进，得6
4×2本个8，后位7，满5进1，
8十1得9
7×2本个4，后位5，满5进1，
4十1得5
5×2本个0，后位3不进，得0
3×2本个6，后位6，满5进1，
6十1得7
6×2本个2，无后位，得2
在此我们只举最简单的例子供读者参考，至于乘3、4……至乘9也均有一定的进位规律，限于篇幅，在此未能一一罗列。
「史丰收速算法」即以这些进位规律为基础，逐步发展而成，只要运用熟练，举凡加减乘除四则多位数运算，均可达到快速准确的目的。
