数据挖掘的算法及技术的应用的研究论文
摘要： 数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中发现隐含的、规律性的、人们事先未知的, 但又是潜在有用的并且最终可被理解的信息和知识的非平凡过程。任何有数据管理和知识发现需求的地方都可以借助数据挖掘技术来解决问题。本文对数据挖掘的算法以及数据挖掘技术的应用展开研究, 论文对数据挖掘技术的应用做了有益的研究。
关键词： 数据挖掘; 技术; 应用;
引言: 数据挖掘技术是人们长期对数据库技术进行研究和开发的结果。起初各种商业数据是存储在计算机的数据库中的, 然后发展到可对数据库进行查询和访问, 进而发展到对数据库的即时遍历。数据挖掘使数据库技术进入了一个更高级的阶段, 它不仅能对过去的数据进行查询和遍历, 并且能够找出过去数据之间的潜在联系, 从而促进信息的传递。
一、数据挖掘概述
数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中发现隐含的、规律性的、人们事先未知的, 但又是潜在有用的并且最终可被理解的信息和知识的非平凡过程。
二、数据挖掘的基本过程
(1) 数据选择:选择与目标相关的数据进行数据挖掘。根据不同的数据挖掘目标, 对数据进行处理, 不仅可以排除不必要的数据干扰, 还可以极大地提高数据挖掘的效率。 (2) 数据预处理:主要进行数据清理、数据集成和变换、数据归约、离散化和概念分层生成。 (3) 模式发现:从数据中发现用户感兴趣的模式的过程.是知识发现的主要的处理过程。 (4) 模式评估:通过某种度量得出真正代表知识的模式。一般来说企业进行数据挖掘主要遵循以下流程——准备数据, 即收集数据并进行积累, 此时企业就需要知道其所需要的是什么样的数据, 并通过分类、编辑、清洗、预处理得到客观明确的目标数据。数据挖掘这是最为关键的步骤, 主要是针对预处理后的数据进行进一步的挖掘, 取得更加客观准确的数据, 方能引入决策之中, 不同的企业可能采取的数据挖掘技术不同, 但在当前来看暂时脱离不了上述的挖掘方法。当然随着技术的进步, 大数据必定会进一步成为企业的立身之本, 在当前已经在很多领域得以应用。如市场营销, 这是数据挖掘应用最早的领域, 旨在挖掘用户消费习惯, 分析用户消费特征进而进行精准营销。就以令人深恶痛绝的弹窗广告来说, 当消费者有网购习惯并在网络上搜索喜爱的产品, 当再一次进行搜索时, 就会弹出很多针对消费者消费习惯的商品。
三、数据挖掘方法
1、聚集发现。
聚集是把整个数据库分成不同的群组。它的目的是要群与群之间差别很明显.而同一个群之间的数据尽量相似.聚集在电子商务上的典型应用是帮助市场分析人员从客户基本库中发现不同的客户群, 并且用购买模式来刻画不同客户群的特征。此外聚类分析可以作为其它算法 (如特征和分类等) 的预处理步骤, 这些算法再在生成的簇上进行处理。与分类不同, 在开始聚集之前你不知道要把数据分成几组, 也不知道怎么分 (依照哪几个变量) .因此在聚集之后要有一个对业务很熟悉的人来解释这样分群的意义。很多情况下一次聚集你得到的分群对你的业务来说可能并不好, 这时你需要删除或增加变量以影响分群的方式, 经过几次反复之后才能最终得到一个理想的结果.聚类方法主要有两类, 包括统计方法和神经网络方法.自组织神经网络方法和K-均值是比较常用的`聚集算法。
2、决策树。
这在解决归类与预测上能力极强, 通过一系列的问题组成法则并表达出来, 然后经过不断询问问题导出所需的结果。典型的决策树顶端是一个树根, 底部拥有许多树叶, 记录分解成不同的子集, 每个子集可能包含一个简单法则。
四、数据挖掘的应用领域
4.1市场营销
市场销售数据采掘在销售业上的应用可分为两类:数据库销售和篮子数据分析。前者的任务是通过交互式查询、数据分割和模型预测等方法来选择潜在的顾客以便向它们推销产品, 而不是像以前那样盲目地选择顾客推销;后者的任务是分析市场销售数据以识别顾客的购买行为模式, 从而帮助确定商店货架的布局排放以促销某些商品。
4.2金融投资
典型的金融分析领域有投资评估和股票交易市场预测, 分析方法一般采用模型预测法。这方面的系统有Fidelity Stock Selector, LBS Capital Management。前者的任务是使用神经网络模型选择投资, 后者则使用了专家系统、神经网络和基因算法技术辅助管理多达6亿美元的有价证券。
结论:数据挖掘是一种新兴的智能信息处理技术。随着相关信息技术的迅猛发展, 数据挖掘的应用领域不断地拓宽和深入, 特别是在电信、军事、生物工程和商业智能等方面的应用将成为新的研究热点。同时, 数据挖掘应用也面临着许多技术上的挑战, 如何对复杂类型的数据进行挖掘, 数据挖掘与数据库、数据仓库和Web技术等技术的集成问题, 以及数据挖掘的可视化和数据质量等问题都有待于进一步研究和探索。
参考文献
[1]孟强, 李海晨.Web数据挖掘技术及应用研究[J].电脑与信息技术, 2017, 25 (1) :59-62.
[2]高海峰.智能交通系统中数据挖掘技术的应用研究[J].数字技术与应用, 2016 (5) :108-108.
论文 ：
论文题目：《P-Companion: A Principled Framework for Diversified Complementary Product Recommendation 》
地址：
前面一篇文章里面我已经提到了商品的可替代性和互补性这两个关系，亚马逊这篇文章着重介绍了如何在保持多样性的前提下利用好商品之间的互补关系。
互补产品推荐（CPR）旨在提供经常一起购买的商品的推荐，以满足共同的需求，形成了电子商务服务的重要组成部分，但是，现有方法远非最佳。对于一种产品，如何推荐其不同类型的互补产品是我们在这项工作中要解决的关键问题。
在我们之前的第34篇文章中所提到的，我们认为共同购买的商品就是互补的，但是这边文章提出了co-purchase的物品并不一定是互补的，举个简单的例子吧，如果用户购买了两种不同品牌的口红那么当然说这两个口红不是互补的商品，但是可以说他们是相似的物品。如果说用户购买了手机跟手机壳，那么手机壳就是手机的互补商品，但是反过来就不行了，因为用户不会因为先把购买了手机壳再去找与之相匹配的手机。
更具体的来看下面的例子：
在图1中，我们显示了一个比较示例，详细阐述了生成高质量“一起购买”推荐的要求。以网球拍作为“查询产品”，我们比较了三组推荐列表。列表1包含其他三个类似的网球拍。清单2包含三个网球，清单3包含一个网球，一个球拍套和一个头带。当然，我们认为列表1通常更倾向于替代产品，并且不太可能在列表1中一起购买。虽然列表2和3都可以被视为合理的推荐，但我们认为列表3是更好的选择，因为它提出了三种不同类型的产品共同更好地满足了客户对网球运动的需求。该示例说明，理想的补充生产推荐解决方案应同时考虑相关性和多样性，以满足客户的需求。
在以前的工作中，我们会更倾向于去建模商品之间的相似度，如协同过滤或者一些item2vec的方法，但是建模物品之间的相似度遇到了一下几个挑战：
C1：互补关系不是对称的，并且互补推荐不仅仅基于相似性度量。例如，网球拍和头带在文字或图像特征上根本不相似。而且，SD卡可以是相机的补充产品，但不能相反。这些事实排除了大多数基于相似性的方法，并需要使用不同的机制来建立互补关系的模型。
C2：互补推荐需要考虑多样性。这些推荐通常是一组具有不同类别和功能的商品，可以满足客户的需求。如图1所示，包含三种类型的网球相关产品的多元化推荐列表要优于仅一种类型的推荐列表。
C3：互补推荐在冷启动项目中受挫。也就是说，在电商领域中，相似度推荐难以解决冷启动问题。
带着这几个挑战，我们来看看亚马逊是怎么解决这些问题的。
I：item 的集合
B ∈ I × I ，代表从客户的历史行为收集的成对商品之间的三个关系（即，共同购买 ，共同浏览 和浏览后购买 ）。
C?表示商品i的类别特征（例如，产品类别，类型，标题和描述)
,表示product type，也就是代表产品本身的功能特征。
互补商品推荐问题表述如下：
给定商品类别特征C（包括标题，项目类型等）和用户行为数据B作为输入，我们想要学习推荐模型M，M能在给定查询item i以及item类别 和多样性程度?的条件下，M会先预测?个不同的互补商品类型{ }，然后根据每种预测的互补商品类型生成?个商品集{ }。
在共同浏览，共同购买和浏览后购买的不同组合的对比中，我们观察到仅在共同购买记录中包含产品对的 对MTurk投票得分最高，这比未经处理的共同购买的信号对高30％，所以亚马逊采用这部分数据进行训练。
先来看一下模型里面的一些符号的定义：
模型图：
这里采用的是GAT的方法，具体的细节可以去看GAT这篇论文，这里就不再详细介绍来。
其中， ，FFN是前馈神经网络，z是attention求得的分数，Ni是邻居节点，是训练的时候的正样本， 是负样本，y的定义为：
其中正样本的y定义为：
负样本的y定义为：
的计算为：
f(.)度量学习的函数，?是区分??和?ˆi的距离，而 是边距。 上面那个优化的目的是迫使??与 之间的距离小于? − ?，同时让??和 的距离至少为? + ?。
损失函数其实就是hinge loss。
这里就是我们之前所说的如何来解决多样性问题的地方，主要是根据查询item和这个item的类型，来生成多个多个跟这个item相关的类型。
给定查询item i和候选item j，我们有他们之间的类型对{ }，还有标签 ，文章采用encoder-decoder模型建模：
首先先把item i的类别的w映射成 ，然后用度量学习的方式来学习。
其他的符号定义，可以参考前面的表，这里不再进行详细描述了，这个优化的目标主要是让co-purchase的商品之间的类别的embedding之间更相近。
这部分是整个论文的最为关键的地方，不仅定义了如何通过度量学习的方式来进行互补商品的推荐，还在多种不同类别的条件下进行学习。
首先我们选取跟查询item的类别embedding相近的几个类别的embedding，然后我们把item本身的embedding 映射到对应的类别中。
这里跟之前的度量学习的方式一样，只不过我们这里要优化的是我们映射后的item embedding跟候选item j之间的距离的度量。
这部分主要是为了让我们3.2和3.3中的两个度量优化函数进行加权，加权系数是
这部分主要讲的是几个超参数的设置，比如L=64，d=128等等参数的设置。
以及，我们要知道在模型进行end-2-end学习完毕后该如何进行预测，也就是怎么来生成候选item，这里我们在问题定义的时候已经说了，从直观上来看就是先生成top-k个最相近的类别，然后在每个类别中运用3.3中的方法来生成候选的item，具体而言：
我们在有了
就可以就行推荐了，直接去取跟这个向量最相近的item就可以。
每个类别的取法都一样，这样我们就可以生成具有多个类别的多样性推荐列表了。
计算机论文题目
随着大科学时代的到来及科技水平的高速发展，计算机科学与技术已经渗透到我国经济、社会的各个领域，这些都有利于全球经济的发展，还极大地推动了社会的进步，
1、基于物联网的煤矿井下监测网络平台关键技术研究
2、基于抽象状态自动机和π演算的UML动态语义研究
3、基于多种数据源的中文知识图谱构建方法研究
4、基于矩阵化特征表示和Ho-Kashyap算法的分类器设计方法研究
5、基于博弈论的云计算资源调度方法研究
6、基于合约的泛型Web服务组合与选择研究
7、本体支持的Web服务智能协商和监测机制研究
8、基于神经网络的不平衡数据分类方法研究
9、基于内容的图像检索与推荐技术研究
10、物联网技术及其在监管场所中的应用
11、移动图书馆的研发与实现
12、图书馆联机公共目录查询系统的研究与实现
13、基于O2O模式的外卖订餐系统
14、网络时代个人数据与隐私保护的调查分析
15、微信公众平台CMS的设计与实现
16、环保部门语义链网络图形化呈现系统
17、BS结构计量信息管理系统设计与研究
18、基于上下文的天然气改质分析控制系统的设计与实现
19、基于增量学习和特征融合的多摄像机协作监控系统目标匹配方法研究
20、无线自组网络密钥管理及认证技术的研究
21、基于CDMI的云存储框架技术研究
22、磨损均衡在提高SSD使用寿命中的应用与改进
23、基于.NET的物流管理软件的设计与实现
24、车站商铺信息管理系统设计与实现
25、元数据模型驱动的合同管理系统的设计与实现
26、安睡宝供应与销售客户数据管理与分析系统
27、基于OpenCV的人脸检测与跟踪算法研究
28、基于PHP的负载均衡技术的研究与改进
29、协同药物研发平台的构建及其信任机制研究
30、光纤网络资源的智能化管理方法研究
31、基于差异同步的云存储研究和实践
32、基于Swift的云存储产品优化及云计算虚拟机调度算法研究
33、基于Hadoop的重复数据删除技术研究
34、中文微博情绪分析技术研究
35、基于协议代理的内控堡垒主机的设计与实现
36、公交车辆保修信息系统的研究与设计
37、基于移动互联网的光纤网络管理系统设计与开发
38、基于云平台的展馆综合管理系统
39、面向列表型知识库的组织机构实体链接方法研究
40、Real-time Hand Gesture Recognition by Using Geometric Feature
41、基于事件的社交网络核心节点挖掘算法的研究与应用
42、线性判别式的比较与优化方法研究
43、面向日志分类的蚁群聚类算法研究
44、基于决策树的数据挖掘技术在电信欠费管理中的应用与研究
45、基于信任关系与主题分析的微博用户推荐技术
46、微博用户兴趣挖掘技术研究
47、面向多源数据的信息抽取方法研究
48、基于本体约束规则与遗传算法的BIM进度计划自动生成研究
49、面向报关行的通关服务软件研究与优化
50、云应用开发框架及云服务推进策略的研究与实践
51、复杂网络社区发现方法以及在网络扰动中的影响
52、空中交通拥挤的识别与预测方法研究
53、基于RTT的端到端网络拥塞控制研究
54、基于体系结构的无线局域网安全弱点研究
55、物联网中的RFID安全协议与可信保障机制研究
56、机器人认知地图创建关键技术研究
57、Web服务网络分析和社区发现研究
58、基于球模型的三维冠状动脉中心线抽取方法研究
59、认知无线网络中频谱分配策略的建模理论与优化方法研究
60、传感器网络关键安全技术研究
61、任务关键系统的软件行为建模与检测技术研究
62、基于多尺度相似学习的图像超分辨率重建算法研究
63、基于服务的信息物理融合系统可信建模与分析
64、电信机房综合管控系统设计与实现
65、粒子群改进算法及在人工神经网络中的应用研究
66、污染源自动监控数据传输标准的研究与应用
67、一种智能力矩限制器的设计与研究
68、移动IPv6切换技术的研究
69、基于移动Ad hoc网络路由协议的改进研究
70、机会网络中基于社会关系的数据转发机制研究
71、嵌入式系统视频会议控制技术的研究与实现
72、基于PML的物联网异构信息聚合技术研究
73、基于移动P2P网络的广播数据访问优化机制研究
74、基于开放业务接入技术的业务移动性管理研究
75、基于AUV的UWSN定位技术的研究
76、基于隐私保护的无线传感网数据融合技术研究
77、基于DIVA模型语音生成和获取中小脑功能及其模型的研究
78、无线网络环境下流媒体传送技术的研究与实现
79、异构云计算平台中节能的任务调度策略研究
80、PRAM模型应用于同步机制的研究
81、云计算平台中虚拟化资源监测与调度关键技术研究
82、云存储系统中副本管理机制的研究
83、嵌入式系统图形用户界面开发技术研究
84、基于多维管理的呼叫中心运行系统技术研究
85、嵌入式系统的流媒体播放器设计与性能优化
86、基于组合双向拍卖的云资源调度算法的研究
87、融入隐私保护的特征选择算法研究
88、济宁一中数字化校园系统的设计与实现
89、移动合作伙伴管理系统的设计与实现
90、黄山市地税局网络开票系统的设计与应用
91、基于语义的领域信息抽取系统
92、基于MMTD的图像拼接方法研究
93、基于关系的垃圾评论检测方法
94、IPv6的过渡技术在终端综合管理系统中的实现与应用
95、基于超声波测距与控制的运动实验平台研发
96、手臂延伸与抓取运动时间协调小脑控制模型的研究
97、位置可视化方法及其应用研究
98、DIVA模型中定时和预测功能的研究
99、基于蚁群的Ad Hoc路由空洞研究
100、基于定向天线的Ad Hoc MAC协议的研究
101、复杂网络社区发现方法以及在网络扰动中的影响
102、空中交通拥挤的识别与预测方法研究
103、基于RTT的端到端网络拥塞控制研究
104、基于体系结构的无线局域网安全弱点研究
105、物联网中的RFID安全协议与可信保障机制研究
106、机器人认知地图创建关键技术研究
107、Web服务网络分析和社区发现研究
108、基于球模型的`三维冠状动脉中心线抽取方法研究
109、认知无线网络中频谱分配策略的建模理论与优化方法研究
110、传感器网络关键安全技术研究
111、任务关键系统的软件行为建模与检测技术研究
112、基于多尺度相似学习的图像超分辨率重建算法研究
113、基于服务的信息物理融合系统可信建模与分析
114、电信机房综合管控系统设计与实现
115、粒子群改进算法及在人工神经网络中的应用研究
116、污染源自动监控数据传输标准的研究与应用
117、一种智能力矩限制器的设计与研究
118、移动IPv6切换技术的研究
119、基于移动Ad hoc网络路由协议的改进研究
120、机会网络中基于社会关系的数据转发机制研究
121、嵌入式系统视频会议控制技术的研究与实现
122、基于PML的物联网异构信息聚合技术研究
123、基于移动P2P网络的广播数据访问优化机制研究
124、基于开放业务接入技术的业务移动性管理研究
125、基于AUV的UWSN定位技术的研究
126、基于隐私保护的无线传感网数据融合技术研究
127、基于DIVA模型语音生成和获取中小脑功能及其模型的研究
128、无线网络环境下流媒体传送技术的研究与实现
129、异构云计算平台中节能的任务调度策略研究
130、PRAM模型应用于同步机制的研究
131、云计算平台中虚拟化资源监测与调度关键技术研究
132、云存储系统中副本管理机制的研究
133、嵌入式系统图形用户界面开发技术研究
134、基于多维管理的呼叫中心运行系统技术研究
135、嵌入式系统的流媒体播放器设计与性能优化
136、基于组合双向拍卖的云资源调度算法的研究
137、融入隐私保护的特征选择算法研究
138、济宁一中数字化校园系统的设计与实现
139、移动合作伙伴管理系统的设计与实现
140、黄山市地税局网络开票系统的设计与应用
141、基于语义的领域信息抽取系统
142、基于MMTD的图像拼接方法研究
143、基于关系的垃圾评论检测方法
144、IPv6的过渡技术在终端综合管理系统中的实现与应用
145、基于超声波测距与控制的运动实验平台研发
146、手臂延伸与抓取运动时间协调小脑控制模型的研究
147、位置可视化方法及其应用研究
148、DIVA模型中定时和预测功能的研究
149、基于蚁群的Ad Hoc路由空洞研究
150、基于定向天线的Ad Hoc MAC协议的研究
